1、下载eclipse(hadoop相关环境已经搭建好,具体见Hdoop安装教程——单机和伪分布式配置)
eclipse的众多版本可以从以下下载地址中获取(注意选择合适的版本,我的配置是ubuntu14+hadoop3.7+jdk1.8,所以选择的eclipse版本是eclipse-jee-juno-SR2-linux-gtk-x86_64.tar)http://mirrors.ustc.edu.cn/eclipse/technology/epp/downloads/release/juno/SR2/
2、打开eclipse
(1)由于在安装hadoop时,使用的是hadoop用户,所以在终端打开eclipse时,必须使用hadoop用户操作,否则后续运行hadoop项目时会出现拒绝访问,具体如图:
(2)在切换到hadoop用户的过程中,遇到一个问题,在其他用户登录时,终端下切换到hadoop用户开启eclipse会报错cannot open display, no protocol specify,见下图:
具体原因及解决办法见http://blog.csdn.net/unflynaomi/article/details/38340383
3、在eclipse中配置hadoop开发环境
具体创建步骤见http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html,有一点需要注意:
以上两个位置的数据需要参考自己安装的hadoop目录下的core-site.xml中配置的参数(我的目录是/usr/local/hadoop/etc/hadoop/core-site.xml)。
4、创建第一个hadoop项目(WordCount)
注意创建的hadoop项目的目录结构如下图:
5、运行WordCount
需要在项目目录下添加log4j.properties文件。在src目录下新建一个file,命名为log4j.properties,文件内容如下:
log4j.rootLogger=info, ServerDailyRollingFile, stdout
log4j.appender.ServerDailyRollingFile=org.apache.log4j.DailyRollingFileAppender
log4j.appender.ServerDailyRollingFile.DatePattern='.'yyyy-MM-dd
log4j.appender.ServerDailyRollingFile.File=C://logs/notify-subscription.log
log4j.appender.ServerDailyRollingFile.layout=org.apache.log4j.PatternLayout
log4j.appender.ServerDailyRollingFile.layout.ConversionPattern=%d - %m%n
log4j.appender.ServerDailyRollingFile.Append=true
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %p [%c] %m%n
后续运行参数配置参考 http://sqcjy111.iteye.com/blog/1735203