Hadoop 2.4源码编译和导入eclipse

原创 2015年07月10日 23:47:31


Hadoop源码编译


Linux 环境下编译源代码之前,需进行以下准备工作:

安装3.0.2及 以上版本的Maven

Protocol Buffers 安装版本为 2.5.0

安装findbugs

安装2.6及以上版本的CMake

确认可以连接互联网(Maven 要从代码库中下载依赖包)


Maven国内镜像配置
进入安装目录 ~/soft/apache-maven-3.0.5/conf,编辑 settings.xml 文件

修改settings.xml:

<mirror> 
 <id>nexus-osc</id> 
  <mirrorOf>*</mirrorOf> 
  <name>Nexus osc</name> 
  <url>http://maven.oschina.net/content/groups/public/</url> 
</mirror> 

修改<profiles>内容:

<profile> 
 <id>jdk-1.7</id> 
 <activation> 
     <jdk>1.7</jdk> 
 </activation> 
 <repositories> 
  <repository> 
   <id>nexus</id> 
   <name>local private nexus</name> 
   <url>http://maven.oschina.net/content/groups/public/</url> 
   <releases> 
    <enabled>true</enabled> 
   </releases> 
   <snapshots> 
    <enabled>false</enabled> 
   </snapshots> 
  </repository> 
 </repositories>
 <pluginRepositories> 
  <pluginRepository> 
   <id>nexus</id> 
   <name>local private nexus</name> 
   <url>http://maven.oschina.net/content/groups/public/</url> 
   <releases> 
    <enabled>true</enabled> 
   </releases> 
   <snapshots> 
    <enabled>false</enabled> 
   </snapshots> 
  </pluginRepository> 
 </pluginRepositories> 
</profile>

$ cp ~/soft/apache-maven-3.0.5/conf/settings.xml ~/.m2/

修改: vi /etc/resolv.conf     
nameserver 8.8.8.8
nameserver 8.8.4.4    

 

编译源码

进入源码目录:

cd ~/workspace/hadoop-2.4.0-src

tar –xzvf Hadoop-2.4.0-src.tar.gz

mvn clean

mvn package -Pdist,native,docs-DskipTests –Dtar

Hadoop导入eclipse

进入源码目录:

cd ~/workspace/hadoop-2.4.0-src

cd hadoop-maven-plugins/

mvn install

 

cd ~/workspace/hadoop-2.4.0-src

mvn eclipse:eclipse –DeskipTests


elipse-->import-->exist project from workspace导入源码 


eclipse设置Mavenwindow->preference->maven->{Installations...;userSettingsmaven\conf\settings.xml}

 

配置eclispe M2_REPO变量

Window/Preference/java/Build Path,M2_REPO默认路径修改为:

~/.m2/repository


导入eclipse报错的解决方法:

1.hadoop-streaming里面的build path有问题,显示/root/workspace/hadoop-2.2.0-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf(missing)

删除Link Source: hadoop-yarn-server-resourcemanager/conf
再添加Link Source:
源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,随便起个名字;
inclusion patterns:capacity-scheduler.xml;exclusion patters:**/*.java

2.AvroRecord cannot be resolved to a type TestAvroSerialization.java

解决方法如下:
首先,下载 avro-tools-1.7.4.jar(点击下载)。存放于 hadoop-2.4.0-src 目录中。
然后执行下述命令:
$ cd ~/workspace/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/src/test/avro
$ java -jar ~/workspace/hadoop-2.4.0-src/avro-tools-1.7.4.jar compile schema avroRecord.avsc ../java
最后,刷新Eclipse工程。

3. org.apache.hadoop.ipc.protobuf.× 无法解析
解决方法如下,依次执行下述命令。
$ cd ~/workspace/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/src/test/proto
//注释:进入该目录
$ protoc --java_out=../java *.proto

 

 

相关文章推荐

如何通过eclipse查看、阅读hadoop2.4源码

1.导入查看hadoop源码 (1)选择Existing Projects into Workspace   (2)选择源码路径   (3)查看源码   ...

hadoop 2.4.x 2.5.x 源码编译指南

操作系统:ubuntu 14.04 安装步骤: 安装g++,在安装protocol buffer的时候需要g++,而ubuntu系统默认安装完成后没有安装g++,安装命令如下: ...

【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源码

今天来说说编译hadoop源码的事情吧~ 1、首先下载源码 地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ 2、加压t...

Hadoop 源码下载,编译,install,导入eclipse

1,准备好环境 首现操作系统最好还是LINUX,WINDOWS上搞起来太麻烦 JDK1.5必须的,最好JDK1.6也准备好。以备版本升级的时候需要用 svn 1.5版本的或者以上的 ...
  • Wel_qin
  • Wel_qin
  • 2013年11月21日 16:17
  • 2604

Hadoop2.7.1源码(可直接导入Eclipse)

  • 2017年03月20日 20:46
  • 56.57MB
  • 下载

Ubuntu14.04 编译 hadoop2.6.0源码以及把源码导入eclipse

1.下载源码http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6/ 2.编译环境准备: * JDK 1.7(楼主试过JDK1.8,编译...

Eclipse中编译运行Hadoop-0.20.1源码

  • 2010年06月18日 09:18
  • 1.55MB
  • 下载

Eclipse中编译运行Hadoop-0.20.1源码

  • 2012年12月08日 18:23
  • 1.55MB
  • 下载

Ubuntu12.04编译hadoop2.6.0源码与源码导入windows下的Eclipse查看方法

在Ubuntu12.04 server版本中编译Hadoop2.6.0源码和将源码导入Eclipse方法 一、Ubuntu12.04 编译Hadoop2.6.0源码 1、编译环境 Ubuntu Ser...
  • px_dn
  • px_dn
  • 2015年07月05日 17:23
  • 714
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.4源码编译和导入eclipse
举报原因:
原因补充:

(最多只允许输入30个字)