搭建基于MyEclipse的Hadoop开发环境
1.安装myeclipse的hadoop插件
- 打开MyEclipse,查看是否已经安装过
window -> preferences
没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件,而我这个有,是因为我已经安装了hadoop插件。
首先,确认你本地的Windows上已经安装JDK和MyEclipse,并能开发java程序。
- 下载Eclipse的Hadoop插件hadoop-eclipse-plugin-7.3
将下载下来的jar文件放入安装的MyEclipse -2015\dropins目录下,然后重启MyEclipse。
- 重启后,出现了Hadoop Map/Reduce,说明在myeclipse安装hadoop插件成功
2.本地的hadoop安装
- 将hadoop-2.7.4.tar.gz解压成hadoop-2.7.4,放到D盘重启MyEclipse,菜单的Windows -> Preferences 中会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\ hadoop-2.7.4)
- 配置环境变量
变量名 值
HADOOP_HOME D:\hadoop-2.7.4
Path D:\hadoop-2.7.4\bin
新建环境变量HADOOP_HOME,变量值为D:\hadoop-2.7.4
修改Path变量,添加D:\hadoop-2.7.4\bin(或者%HADOOP_HOME%\bin)
- 添加Map/Reduce Location
将myeclipse切换到Map/Reduce视图
底部操作区会出现Map/Reduce Locations项,如下图所示:
在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.
在弹出的界面中做如下设置:
- 以管理员身份运行记事本,打开hosts文件。
- 修改参数
50020 -> 50070 (50070是MapReduce的Web界面)
50040-> 9000
kekvin -> hadoop
- 启动集群
cd /usr/java/hadoop
sbin/start-all.sh
jps
这就表明,hadoop与本地的myeclipse搭建成功。
- 新建一个MapReduce项目
1. 新建cnq.txt,用来测试,通过hadoop自带的wordcount程序来测试。
ls
vi cnq.txt
2. 添加一些数据,如:
caonanqing hadoop
caonanqing hadoop
caonanqing hadoop
:wq保存退出
3. 查看hdfs的文件目录
hadoop fs -ls / 查看
hadoop fs -mkdir /caonanqing 新建caonanqing目录
hadoop fs -ls / 查看
hadoop fs -put /usr/java/hadoop/cnq.txt /caonanqing 将/usr/java/hadoop/cnq.txt 输出到 /caonanqing
hadoop fs -ls /caonanqing 查看caonanqing目录
4. 执行Hadoop自带的wordcount程序来测试运行下
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /caonanqing/cnq.txt /caonanqing/wordcount-out
5. 新建一个项目
File -> New -> Map/Reduce Project
6. 新建包package
com.caonanqing.hadoop.test
7. 新建一个WordCount类
8. 看下WordCount自带的程序
改之前:
改之后:
9. window -> show view -> other ->