实验三：MapReduce分布式计算系统（调试WordCount程序）

1、MapReduce功能

与传统数据仓库和分析技术相比，MapReduce适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持，MapReduce在HDFS的基础上实现任务的分发、跟踪、执行、计算等工作，并收集结果。

2、工作原理

Mapper负责“分”：分解计算任务，规模大大缩小； “计算向数据靠近” ；这些小任务可以并行计算
Reducer负责“汇总” map阶段的结果

3、运行以下四个程序

①在下图中没有报错的基础上在HDFSFilefExist.java程序上进行jar打包
②拖动生成default.package包
③生成jar包
选中default.package右击，选择导出——JAVA——JAR file——next
选择存放的路径，最后选择Finish，打包完成

4、传输和解压包（在SecureCRT中运行）

将包传输到SecureCRT里，SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
运行命令put C:mp,jar
解压tar -zxvf mp.jar -C /home/shui

5、运行Wordcount程序

（1）运行cd /home/shui/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。

（2）运行wordcount
hadoop jar mp.jar HDFSFileIfExist

运行成功之后，会出现文件已存在，说明架包成功，无错误，实验成功。