如果想研究hadoop,下面有一个用ECLIPSE运行HADOOP例子,可以给大家参考:
部分配置如下:
1.将hadoop.dll放到window/system32里面,libwinutils.lib与winutils.exe放在主机上的hadoop的lib里面
同时配置环境变量HADOOP_HOME与path,重启电脑就可以了,如果不想重启,想试试代码,就要在代码main方法里面加上一句 hadoop的目录位置 System.setProperty(“hadoop.home.dir”, “D:\hadoop\hadoop-2.7.3”);
2.运行时run application,加入两个参数
hdfs://192.168.18.129:9000/test hdfs://192.168.18.129:9000/output
上面的作用是:
将hdfs根目录的test文件进行字符统计,将统计结果存储到output文件夹内的part-r-00000文件内
3.运行后,程序不会显示日志信息,看不到任何结果,我们要导入log4j.properties文件,如下
log4j.rootLogger=debug,appender
log4j.rootLogger=info,appender
log4j.rootLogger=error,appender
\u8F93\u51FA\u5230\u63A7\u5236\u53F0
log4j.appender.appender=org.apache.log4j.ConsoleAppender
\u6837\u5F0F\u4E3ATTCCLayout
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout