实验三 MapReduce 分布式计算系统

一、相关文件准备

1. java JDK for Windows

2. hadoop-2.6.4.tar.gz 就是安装hadoop时使用的文件

3. Eclipse
   二、环境准备
   1.安装java并配置环境
   Ubuntu 下安装 JDK 与配置环境变量
   2.解压hadoop-2.6.4.tar.gz源文件
   Hadoop源文件在整个开发过程中都会用到，因为很多依赖包都出自里面，用户可按自己的喜好选择位置，但路径层次最好不要太多，本文选在解压到E盘根目录下，即E:\hadoop-2.6.4
   3.安装Eclipse
   不用安装，直接打开就可以用

三、使用Eclipse创建一个Java工程
使用Eclipse创建一个名为wordcound的Java工程
四、导入Hadoop的相关jar包
在编写MapReduce代码时，需要用到Hadoop源文件中的部分Jar包，就像在编写纯Java代码时需要使用Java自带的依赖包一样，所以这里需要把相应的Hadoop依赖包导入工程。
导入Jar包后，还需要把这些jar包添加到工程的构建路径，否则工程并不能识别。选中所有的jar包然后单击右键，选择Build Path -> Add to Build Path.
五、 MapReduce 代码实现
分别创建这3个类，并放入wordcount package下，目录结构如下：
六、打包工程为jar包
WordCount代码完成后，并不能直接在hadoop中运行，还需要将其打包成jvm所能执行的二进制文件，即打包成.jar文件，才能被hadoop所有。
在WordCount项目上右击，选择Export(导出),在弹出的对话框中选择 JAR file，如下图所示，然后单击Next。之后会进入JAR依赖包过滤对话框，这里只选择src即可，把lib文件夹前的勾选去掉，因为lib中的依赖包本来就是复制的hadoop的源文件，在集群中已经包含了。之后选择一个保存位置，单击Finish即可

作者：CloudsStyle
来源：CSDN
原文：https://blog.csdn.net/u011026329/article/details/52900628
版权声明：本文为博主原创文章，转载请附上博文链接！