mapreduce
小丫小屁孩
这个作者很懒,什么都没留下…
展开
-
MapReduce的分组
一:MapReduce的分组其实就是把相同的key合并到一起比如hadoop 1hadoop 1hadoop 1分组后变成 hadoop <1,1,1> 所以Reducer类的reduce的方法的参数是map传出的key和value的迭代器,这个迭代器就是 <1,1,1>那么问题来,他是怎么比较key是否相同的,一开始我以为是key的equal方法,但是偶...原创 2019-05-11 00:13:12 · 1884 阅读 · 0 评论 -
windows下运行mapreduce(本地运行)
windows下运行mapreduce并不需要配置什么文件,hadoop-2.7.3.tar.gz下载后解压,然后添加环境变量,主要是添加hadoop目录下的bin目录。然后在网上下载hadoop.dll(https://github.com/SweetInk/hadoop-common-2.7.1-bin)和winutils.exe(https://github.com/steveloughra...原创 2019-07-12 14:27:28 · 2305 阅读 · 0 评论 -
Relative path in absolute URI:
运行的时候出现了这个,原因是我是直接找到文件的属性然后粘贴复制的路径其实这个路径有问题,就是说这个路径的C:…的C前边还有个东西,如果按BackSpace会发现光标没有移动,但此时删掉了一个东西,删掉之后再用这个路径就没问题了。...原创 2019-07-12 15:21:14 · 2275 阅读 · 2 评论