Hadoop 2.4源码编译和导入eclipse

原创 2015年07月10日 23:47:31


Hadoop源码编译


Linux 环境下编译源代码之前,需进行以下准备工作:

安装3.0.2及 以上版本的Maven

Protocol Buffers 安装版本为 2.5.0

安装findbugs

安装2.6及以上版本的CMake

确认可以连接互联网(Maven 要从代码库中下载依赖包)


Maven国内镜像配置
进入安装目录 ~/soft/apache-maven-3.0.5/conf,编辑 settings.xml 文件

修改settings.xml:

<mirror> 
 <id>nexus-osc</id> 
  <mirrorOf>*</mirrorOf> 
  <name>Nexus osc</name> 
  <url>http://maven.oschina.net/content/groups/public/</url> 
</mirror> 

修改<profiles>内容:

<profile> 
 <id>jdk-1.7</id> 
 <activation> 
     <jdk>1.7</jdk> 
 </activation> 
 <repositories> 
  <repository> 
   <id>nexus</id> 
   <name>local private nexus</name> 
   <url>http://maven.oschina.net/content/groups/public/</url> 
   <releases> 
    <enabled>true</enabled> 
   </releases> 
   <snapshots> 
    <enabled>false</enabled> 
   </snapshots> 
  </repository> 
 </repositories>
 <pluginRepositories> 
  <pluginRepository> 
   <id>nexus</id> 
   <name>local private nexus</name> 
   <url>http://maven.oschina.net/content/groups/public/</url> 
   <releases> 
    <enabled>true</enabled> 
   </releases> 
   <snapshots> 
    <enabled>false</enabled> 
   </snapshots> 
  </pluginRepository> 
 </pluginRepositories> 
</profile>

$ cp ~/soft/apache-maven-3.0.5/conf/settings.xml ~/.m2/

修改: vi /etc/resolv.conf     
nameserver 8.8.8.8
nameserver 8.8.4.4    

 

编译源码

进入源码目录:

cd ~/workspace/hadoop-2.4.0-src

tar –xzvf Hadoop-2.4.0-src.tar.gz

mvn clean

mvn package -Pdist,native,docs-DskipTests –Dtar

Hadoop导入eclipse

进入源码目录:

cd ~/workspace/hadoop-2.4.0-src

cd hadoop-maven-plugins/

mvn install

 

cd ~/workspace/hadoop-2.4.0-src

mvn eclipse:eclipse –DeskipTests


elipse-->import-->exist project from workspace导入源码 


eclipse设置Mavenwindow->preference->maven->{Installations...;userSettingsmaven\conf\settings.xml}

 

配置eclispe M2_REPO变量

Window/Preference/java/Build Path,M2_REPO默认路径修改为:

~/.m2/repository


导入eclipse报错的解决方法:

1.hadoop-streaming里面的build path有问题,显示/root/workspace/hadoop-2.2.0-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf(missing)

删除Link Source: hadoop-yarn-server-resourcemanager/conf
再添加Link Source:
源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,随便起个名字;
inclusion patterns:capacity-scheduler.xml;exclusion patters:**/*.java

2.AvroRecord cannot be resolved to a type TestAvroSerialization.java

解决方法如下:
首先,下载 avro-tools-1.7.4.jar(点击下载)。存放于 hadoop-2.4.0-src 目录中。
然后执行下述命令:
$ cd ~/workspace/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/src/test/avro
$ java -jar ~/workspace/hadoop-2.4.0-src/avro-tools-1.7.4.jar compile schema avroRecord.avsc ../java
最后,刷新Eclipse工程。

3. org.apache.hadoop.ipc.protobuf.× 无法解析
解决方法如下,依次执行下述命令。
$ cd ~/workspace/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/src/test/proto
//注释:进入该目录
$ protoc --java_out=../java *.proto

 

 

[jjzhu学hadoop]之hadoop2.7.3源码编译eclipse项目

编译环境 必须的安装包 安装jdk 安装mvn 配置本地仓库路径 更换阿里云maven镜像强烈推荐更换 Native libraries ProtocolBuffer 250 可选的安装包 Snapp...
  • jjzhu_zju
  • jjzhu_zju
  • 2016年12月15日 11:21
  • 1200

Hadoop 2.7.2 源码导入eclipse

概述相关软件一定参照需求,JDK1.7,ProtocolBuffer 2.5.0参照BUILDING.txt提前安装相关libOracle JDK 1.7 $ sudo apt-get purge...
  • Team77
  • Team77
  • 2016年03月22日 23:41
  • 1255

Ubuntu14.04 编译 hadoop2.6.0源码以及把源码导入eclipse

1.下载源码http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6/ 2.编译环境准备: * JDK 1.7(楼主试过JDK1.8,编译...
  • u010719504
  • u010719504
  • 2015年01月26日 22:22
  • 921

[2015/11/22] Hadoop的一些配置 和 Eclipse导入Hadoop工程步骤 -自用-

0 一些闲话 这几天真的是煎熬,煎熬,煎熬。除了这两个字我真的没啥好说的。除了调Bug之外,最痛苦的莫过于配置!配置!配置!!!呵呵呵呵呵呵!而且还是在Linux系统下配置!虚拟机的Linux系统!...
  • Moplast_Cat
  • Moplast_Cat
  • 2015年11月22日 20:04
  • 1145

eclipse 导入hadoop源码

下载hadoop源码 a.      进入hadoop的下载镜像地址进行下载 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/  选...
  • a731107548
  • a731107548
  • 2016年12月29日 10:13
  • 1432

Hadoop 笔记 Eclipse导入Hadoop Jar包

1.zkpk-->hadoop-2.5.2-->share-->comom三个包 2 zkpk-->hadoop-2.5.2-->share-->hdfs下三个包 3 zkpk-->hadoop-2....
  • xiaoshunzi111
  • xiaoshunzi111
  • 2015年09月16日 09:37
  • 3201

将Hadoop 2.6.0源码导入到Eclipse

我的环境: Windows 7 64bit NTFS格式文件系统 Administrator用户 Eclipse(Luna Service Release 2 (4.4.2)) JDK 1.8(C:\...
  • oneinmore
  • oneinmore
  • 2015年04月10日 21:23
  • 8464

eclipse中导入hadoop2.7.0源码

本文主要介绍了eclipse导入经过maven编译的hadoop2.7.0源码的步骤
  • qiangbo1
  • qiangbo1
  • 2015年05月06日 16:16
  • 2022

Eclipse+hadoop2.6.2源码编译导入

1. 安装Apache Maven。 这方面的文章挺多,参考:http://blog.csdn.net/july_2/article/details/32102959 修改eclipse maven配...
  • u011007180
  • u011007180
  • 2016年09月19日 21:45
  • 1073

hadoop-eclipse-plugin-2.x.x 插件编译

在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 ...
  • u013067629
  • u013067629
  • 2017年01月11日 10:04
  • 2049
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.4源码编译和导入eclipse
举报原因:
原因补充:

(最多只允许输入30个字)