Windows平台下Eclipse环境搭建 Hadoop
hadoop部署在linux系统中,开发可以在window系统中,通过eclipse加入插件来实现开发功能。
环境配置信息
- Eclipse:4.5.2
- JDK:1.8.0_77 64位
- Hadoop:hadoop-2.6.0-cdh5.13.0
- Hadoop插件:hadoop-eclipse-plugin-2.6.0.jar
- hadoop-common-2.6.0-bin-master.zip
准备工作
下载Hadoop插件
https://github.com/winghc/hadoop2x-eclipse-plugin
注意:选择release目录中的插件。
下载Hadoop软件包[CDH版]
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz
下载hadoop-common-2.6.0-bin
本地配置Hadoop环境
CDH版本Hadoop解压路径
解压 hadoop-common-2.6.0-bin-master.zip
将 bin/ 目录下所有文件存放在hadoop解压目录的 /bin 中
同时将 hadoop.dll 文件放到 C:\Windows\System32
配置环境变量
配置Eclipse插件
- 将下载的 release/hadoop-eclipse-plugin-2.6.0.jar 文件复制到eclipse下的 plugins目录下
- 启动eclipse。
- 指定Hadoop安装包路径
MR开发视图
- 打开 Window->show view ,打开 MapReduce tools
- 打开 windows->open perspective->other->map/reduce 可以看到 map/reduce 开发视图
- 点击”大象”
打开 Project Explorer 中DFS Locations目录,应该可以看到文件系统中的结构了。
测试上传、删除、下载文件