如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子

12 篇文章 0 订阅

如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子,可以给大家参考:

部分配置如下:
1.将hadoop.dll放到window/system32里面,libwinutils.lib与winutils.exe放在主机上的hadoop的lib里面
同时配置环境变量HADOOP_HOME与path,重启电脑就可以了,如果不想重启,想试试代码,就要在代码main方法里面加上一句 hadoop的目录位置 System.setProperty(“hadoop.home.dir”, “D:\hadoop\hadoop-2.7.3”);

2.运行时run application,加入两个参数
hdfs://192.168.18.129:9000/test hdfs://192.168.18.129:9000/output

上面的作用是:
将hdfs根目录的test文件进行字符统计,将统计结果存储到output文件夹内的part-r-00000文件内

3.运行后,程序不会显示日志信息,看不到任何结果,我们要导入log4j.properties文件,如下

log4j.rootLogger=debug,appender

log4j.rootLogger=info,appender

log4j.rootLogger=error,appender

\u8F93\u51FA\u5230\u63A7\u5236\u53F0

log4j.appender.appender=org.apache.log4j.ConsoleAppender

\u6837\u5F0F\u4E3ATTCCLayout

log4j.appender.appender.layout=org.apache.log4j.TTCCLayout

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值