Hadoop eclipse开发环境配置

以及Eclipse使用插件开发

一、使用插件的原因

为什么要用这个插件了?有什么好处了?
  因为我们待分析的文件需要从客户端通过rpc传到NameNode,所以在linux中,是找不到这个文件的,相当于是做了个隔离,所以用个插件就很方便的上传这些文件了,还可以查看目录结构,文件内容。分析后结果也是很方便的查看的到。

二:地址

  https://github.com/winghc/hadoop2x-eclipse-plugin
  在Release中,我们可以看到有3个编译好的jar包。都是2.0以上的版本,所以对于hadoop2.0以上的都可以用。

三:安装

  将插件放入eclipse的插件目录,“eclipse\plugins”。

重启Eclipse

  进入Windows->Preferences

  选择Hadoop的路径(下载Hadoop 编译后的程序解压,我用的是Hadoop2.7.3,官方下载地址:http://hadoop.apache.org/releases.html)

4、配置Hadoop 连接信息

     首先我们进入ambari 管理界面

    4.1.查找Mapreduce 地址

       

 

 

     

 

    2.查找 DFS  地址

 

注意:H30是我的 服务器HostName(IP:172.21.8.88)

4.3 配置Hadoop

 

 

5、配置Window 环境变量

   5.1 配置 Hadoop的地址以及用户访问(不配置用户将无法操作Hadoop)

        hadoop 连接成功后 我们需要查看 HadoopUser

       

 

        

 5.2 在Path中配置hadoop的bin路径

 

 

使用Eclipse使用插件创建项目

 1. 打开File->New Project->Map/Reduce Project

 

 我们使用的是Hadoop 2.7.3 所以我们去看 2.7.3 的 官网示例代码(http://hadoop.apache.org/docs/r2.7.3/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html)

2. 准备 要统计的文档 words_01.txt

3. 上传words_01.txt 到hadoop

   在hadoop的 tmp中创建两个文件夹 input,和 output

   上传words_01.txt 到hadoop的tmp\input中(如果看不到可以右键刷新)

 

4. 配置main方法的输入输出

 

 

5. 空指针错误

有人遇到空指针错误:“Exception in thread "main" Java.lang.NullPointerException”

该错误的修正,需做如下操作:

 5.1 下载hadoop.dll、winutils.exe文件放到eclipse所连接的hadoop的bin目录下(我使用的是Hadoop 2.7.3 分享下我的链接 http://pan.baidu.com/s/1dFGetOX);

 5.2 环境变量的PATH里边加一下Hadoop的bin目录。

6.有人日志打不出来,报警告信息

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).  

log4j:WARN Please initialize the log4j system properly.  

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 

这个需要在项目的src下面新建file名为log4j.properties的文件

内容为:

   

# Configure logging for testing: optionally with log file  

#log4j.rootLogger=debug,appender  log4j.rootLogger=info,appender  

#log4j.rootLogger=error,appender  

#\u8F93\u51FA\u5230\u63A7\u5236\u53F0  log4j.appender.appender=org.apache.log4j.ConsoleAppender  

#\u6837\u5F0F\u4E3ATTCCLayout  log4j.appender.appender.layout=org.apache.log4j.TTCCLayout  

 

7.运行结果(以后就可以直接运行程序了)

 

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wuwei928/article/details/80350788
文章标签: Hadoop
个人分类: Hadoop 框架
想对作者说点什么? 我来说一句

Eclipse+Hadoop环境配置

2011年12月11日 103KB 下载

Eclipse开发环境配置-indigo

2015年01月08日 1.93MB 下载

没有更多推荐了,返回首页

不良信息举报

Hadoop eclipse开发环境配置

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭