win_eclipse_hadoop2.5.2_WordCount测试用例
- 准备
- apache-ant-x-bin
- hadoop-2.5.2
- hadoop-2.5.2-src
- hadoop2.5软件包(我这里用的时别人提供的2.6)
- hadoop-common-2.2.0-bin-master
- hadoop-eclipse-plugin-2.5.2(这个一定要和hadoop的版本一致)
环境变量配置—找不到hadoop文件错误
配置完环境变量一定要测试一下: 经历过,按教程配置环境变量,但始终不对的情况。 win10下编辑PATH:%HADOOP_HOME%/bin,没有起到作用。 后来,配置了绝对路径,解决了程序报关于找不到文件的错误。 //测试方法: 例如: 1、在hadoop.2.5.2下创建空的test.cmd 2、配置完环境变量后,重新打开cmd 3、输入 test.cmd 输出空行,则配置正确。
- java
- ant
- hadoop
配置eclipse :安装hadoop-eclipse-plugin
- 将hadoop-eclipse-plugin-2.5.2.jar放到eclipse的dropins/plugins 下(没有的话,先创建plugins)
启动eclipse,会在Window/Preferences下发现Hadoop Map/Reduce。
- 点击Hadoop Map/Reduce 配置Hadoop目录
- 作用:hadoop-2.5.2所在位置,该配置是为后续创建hadoop工程,自动导入依赖hadoop-2.5.2/share下的jar服务的
- 如果后边发现没有缺jar包 import xxx错误,请重新配置该目录
或 配置java build path手动导入所有依赖的包
参考1、依赖包
参考2、如何导入依赖包
配置Map/Reduce Loatcion
我只配置了General,其中 Master 为你hadoop集群master的信息: Host: master的ip Port:不同的配置文件,可能寻找该端口的方式不一样,我这是在yarn文件中 ---maprede-site.xml DFS master port: 9000 ---core-site.xml中 user name -master的用户名
- 配置文件
- DFS master port
- master port 有两个文件组合配置的–其他配置方式参考abc
- maprede-site.xml
- yarn
- maprede-site.xml
- DFS master port
- 配置文件
DFS Locatins
- 如果你的插件正常,则创建Hadoop Map/Reduce工程后,在Project Explorer正确显示hadoop的目录结构。
- 遇到的错误
- 连不上hadoop-显示本机的ip和hadoop不在一个段上,断网后,重新启动eclipse有时能够连上;
- 有时在projects explores上根本就不显示DFS Locations。
- 解决办法:请确认插件和hadoop版本一致,我这的错误就因为版本不一致造成的,更换插件后,一切正常。
- 如果你的插件正常,则创建Hadoop Map/Reduce工程后,在Project Explorer正确显示hadoop的目录结构。
创建工程,添加WordCount——具体参考
- 确保依赖包导入正确,WordCount上不会显示import错误—见前
- 配置run configuration 添加两个参数分别时输入 输出参数——-参考
hdfs://192.168.1.100:9000/user/liu/input
hdfs://192.168.1.100:9000/user/liu/output 确保存在input,并在input中添加两个文件fie1 file2 为测试用例;output会在输出结果时创建。
hadoop fs -mkdir input --创建input文件夹 //创建测试文件file1 file2,随便写进一些单词 hadoop fs -put input file1 --将本地文件上传到HDFS的input目录下 hadoop fs -put input file2
在工程src现添加hadoop的配置文件—经测试,不添加也没问题
- Windows添加master hosts,否则会报出Unknown Host的错误,原因应该是我们的配置文件中都在用master,但是Windows却不知道master是谁
- run–正确结果
- 关于运行错误
- 参考