Hadoop mapreduce原理
1.map任务处理:1.1 读取hdfs文件为内容,把内容中的每一行解析成一个个的键(key)值(value)对.文件总是有行的,键是字节的偏移量,值是每一行的内容,每一个键值对调用一次map函数.map函数处理输入的每一行.1.2 自定义map函数,写自己的逻辑,对输入的key,value(把每一行解析出的key,value)处理,转换成新的key,value输出.1.3 对输出的key,val...
原创
2018-03-10 13:56:50 ·
237 阅读 ·
0 评论