一、相关文件准备
-
java JDK for Windows
-
hadoop-2.6.4.tar.gz 就是安装hadoop时使用的文件
-
Eclipse
二、环境准备
1.安装java并配置环境
Ubuntu 下安装 JDK 与配置环境变量
2.解压hadoop-2.6.4.tar.gz源文件
Hadoop源文件在整个开发过程中都会用到,因为很多依赖包都出自里面,用户可按自己的喜好选择位置,但路径层次最好不要太多,本文选在解压到E盘根目录下,即E:\hadoop-2.6.4
3.安装Eclipse
不用安装,直接打开就可以用
三、使用Eclipse创建一个Java工程
使用Eclipse创建一个名为wordcound的Java工程
四、导入Hadoop的相关jar包
在编写MapReduce代码时,需要用到Hadoop源文件中的部分Jar包,就像在编写纯Java代码时需要使用Java自带的依赖包一样,所以这里需要把相应的Hadoop依赖包导入工程。
导入Jar包后,还需要把这些jar包添加到工程的构建路径,否则工程并不能识别。选中所有的jar包然后单击右键,选择Build Path -> Add to Build Path.
五、 MapReduce 代码实现
分别创建这3个类,并放入wordcount package下,目录结构如下:
六、打包工程为jar包
WordCount代码完成后,并不能直接在hadoop中运行,还需要将其打包成jvm所能执行的二进制文件,即打包成.jar文件,才能被hadoop所有。
在WordCount项目上右击,选择Export(导出),在弹出的对话框中选择 JAR file,如下图所示,然后单击Next。之后会进入JAR依赖包过滤对话框,这里只选择src即可,把lib文件夹前的勾选去掉,因为lib中的依赖包本来就是复制的hadoop的源文件,在集群中已经包含了。之后选择一个保存位置,单击Finish即可
作者:CloudsStyle
来源:CSDN
原文:https://blog.csdn.net/u011026329/article/details/52900628
版权声明:本文为博主原创文章,转载请附上博文链接!