eclipse下运行第一个hadoop程序


1、下载eclipse(hadoop相关环境已经搭建好,具体见Hdoop安装教程——单机和伪分布式配置)

eclipse的众多版本可以从以下下载地址中获取(注意选择合适的版本,我的配置是ubuntu14+hadoop3.7+jdk1.8,所以选择的eclipse版本是eclipse-jee-juno-SR2-linux-gtk-x86_64.tar)http://mirrors.ustc.edu.cn/eclipse/technology/epp/downloads/release/juno/SR2/


2、打开eclipse

(1)由于在安装hadoop时,使用的是hadoop用户,所以在终端打开eclipse时,必须使用hadoop用户操作,否则后续运行hadoop项目时会出现拒绝访问,具体如图:


(2)在切换到hadoop用户的过程中,遇到一个问题,在其他用户登录时,终端下切换到hadoop用户开启eclipse会报错cannot open display, no protocol specify,见下图:


具体原因及解决办法见http://blog.csdn.net/unflynaomi/article/details/38340383


3、在eclipse中配置hadoop开发环境

具体创建步骤见http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html,有一点需要注意:




以上两个位置的数据需要参考自己安装的hadoop目录下的core-site.xml中配置的参数(我的目录是/usr/local/hadoop/etc/hadoop/core-site.xml)。

4、创建第一个hadoop项目(WordCount)

注意创建的hadoop项目的目录结构如下图:


5、运行WordCount

需要在项目目录下添加log4j.properties文件。在src目录下新建一个file,命名为log4j.properties,文件内容如下:

log4j.rootLogger=info, ServerDailyRollingFile, stdout 

log4j.appender.ServerDailyRollingFile=org.apache.log4j.DailyRollingFileAppender 

log4j.appender.ServerDailyRollingFile.DatePattern='.'yyyy-MM-dd 

log4j.appender.ServerDailyRollingFile.File=C://logs/notify-subscription.log 

log4j.appender.ServerDailyRollingFile.layout=org.apache.log4j.PatternLayout 

log4j.appender.ServerDailyRollingFile.layout.ConversionPattern=%d - %m%n 

log4j.appender.ServerDailyRollingFile.Append=true

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %p [%c] %m%n

后续运行参数配置参考 http://sqcjy111.iteye.com/blog/1735203


  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值