Hadoop实战(四) 编写MR程序

Hadoop实战(四) 编写MR程序

正文之前，先放出本章重点概括：

一、MR程序框架
MyJob类，内含–
1.Mapper和Reducer作为内部类
2.run()作为driver，以实例化和配置作业

二、Hadoop Streaming
使用Unix中的流域程序进行交互

三、MR框架扩展
Combiner：解决shuffle任务过于繁重、数据倾斜（数据非均匀分布，某些reducer任务重）等问题。

样例数据集

1. 下载数据集

• Address: http://www.nber.org/patents/
• wget http://www.nber.org/patents/acite75_99.zip
• wget wget http://www.nber.org/patents/apat63_99.zip
• 解压: unzip acite75_99.zip
• 上传到hdfs: hadoop fs -copyFromLocal ./cite75_99.txt /wttttt/chap4

2.