mapreduce
hao难懂
这个作者很懒,什么都没留下…
展开
-
01MR工作机制
MAPREDUCE框架分为两个阶段: map阶段:程序MapTask 对maptask读到的一行数据如何处理。 reduce阶段:程序ReduceTask 对reducetask拿到的一组相同key的kv数据如何处理。 ...原创 2019-09-27 11:04:56 · 121 阅读 · 0 评论 -
01MR两种jar包导入(主要是maven)
一、可以自己导入jar包 新建一个JavaProject项目,再建一个folder文件夹,命名为lib,将common,hdfs,mapreduce下 的所有jar包拷贝到eclipse中,然后再将他们各自目录下的lib中的jar包也拷贝到eclipse中 的lib文件夹中。 二、可以使用maven (常用) 1.下载一个maven压缩包,在eclipse中依次点击Window->perf...原创 2019-09-27 11:06:48 · 244 阅读 · 0 评论 -
03MR实现wordcount
KEYIN: 是maptask读取到数据的key类型,是一行的起始偏移量Long。 VALUEIN: 是maptask读取到数据的value类型,是一行的内容String。 KEYOUT: 是用户自定义map方法要返回结果kv数据的key类型,在wordcount逻辑中,我们需要返回的是单词String。 VALUEOUT: 是用户自定义map方法要返回结果kv数据的value类型,在wc逻辑中...原创 2019-09-27 11:09:42 · 232 阅读 · 0 评论 -
04job客户端逻辑代码
import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntW...原创 2019-09-27 11:11:47 · 111 阅读 · 0 评论