在windows下eclipse分析hadoop2.2.0的源代码

原创 2013年11月12日 20:54:22
最近好几个以前的同事找我问一个很基本的问题,他想学习分析hadoop2系列的源代码(有yarn),但是网上的资料太杂乱了,而且都是基于hadoop的老版本整理的,学习起来非常麻烦。
我解答了几个后,发现好些人的思路非常混乱,问的问题也非常奇怪。网上整理的好的基本没有,所以我整理一个,以后就不用一个个回复了。

首先要明白自己的目标。我看到的目标有两大类:
目标一: 分析hadoop2.2的源代码
分析源代码,并可以简单调试,这个目标与要在生产环境运行是完全不同的。基于这个目标问问题的一般都是windows环境(linux环境下一般没有问题)下发现了各种问题。
本质而言,要分析hadoop2.2的源代码,与其他的开源软件源代码一样,只需要用maven编译hadoop代码就可以,问题是hadoop2.2有几个特殊的依赖。
1)依赖于protocolBuff
protocolBuff也是有windows版本的,直接到googleCode下载可执行文件就可以。
下载以后安装,要在cmd下直接protoc可以运行就OK。
要注意的是,hadoop2.2依赖于protocolBuff的2.5版本,用更低的版本编译hadoop中的协议文件是会报错的。
编译的方式很简单,用protocolBuff直接编译产生代码,或者用 pom.xml中的内容编译。
产生的.java文件可以在pom中指定目标位置,也可以手动copy到对应的目录下。

2) 依赖于javah
javah可以生成头文件.
pom中配置为 <javahPath>${env.JAVA_HOME}/bin/javah</javahPath>  ,所以需要安装JDK。只用JRE是不可以的。
有些版本的maven识别不了env.JAVA_HOME,那样也需要升级maven。

3)依赖于msbuild
没有搞过c++的对这里可能比较不熟(特别是windows下)
这里要下载 visual studio express2010版(免费的),用低的版本是不可以的。
然后用pom中的配置运行就可以(<executable>msbuild</executable>)。
如果下载的是2013等新版本,用pom中的配置也有问题,那就需要自己用studio打开pom中的两个solution,自己编译(会报错,但是看说明解决就可以了).然后把产生的exe/dll 复制到需要放的目录就可以了。

以上的问题解决后,分析hadoop源代码是没有问题了。

目标二:生产运行hadoop2.2

这个就不建议在windows下了,还是用Linux吧,网上资料也非常多,这里就不描述了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

在Eclipse中编辑Hadoop2.2.0源代码

构建一个高效的Hadoop学习环境对于Hadoop的学习至关重要,本文将Hadoop2.2.0源码导入Eclipse的过程作一总结。 实现思路: 使用Maven生成Eclipse支持的Ma...

HDP2.0.6+hadoop2.2.0+eclipse(windows和linux下)调试环境搭建

花了好几天,搭建好windows和linux下连接HDP集群的调试环境,

hadoop2.2.0 eclipse-kepler 编译插件

  • 2014年02月20日 12:07
  • 22.48MB
  • 下载

hadoop-eclipse-plugin-2.2.0

  • 2014年01月11日 12:21
  • 22.48MB
  • 下载

如何编译Apache Hadoop2.2.0源代码

hadoop2的学习资料很少,只有官网的少数文档。如果想更深入的研究hadoop2,除了仅看官网的文档外,还要学习如何看源码,通过不断的调试跟踪源码,学习hadoop的运行机制。 1.安装Cen...

hadoop-eclipse-plugin-2.2.0.jar

  • 2014年02月24日 15:06
  • 22.48MB
  • 下载

hadoop-eclipse-plugin-2.2.0.jar

  • 2014年10月23日 08:05
  • 22.48MB
  • 下载

Hadoop2.2.0的eclipse插件的编译

Hadoop2.x之后,已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具,辅助,开发调试相对起来,会稍显麻烦,特别是基于Java开发的工程师们,虽然写完MR任务后,也可以...

Hadoop2.2.0 Eclipse开发环境搭建(xp下)

1、下载安装eclipse插件 到http://wiki.apache.org/hadoop/EclipsePlugIn上下载对应的eclipse插件,或者百度。本文下载的插件名为hadoop-ecl...

在eclipse上安装hadoop2.2.0插件

1、安装环境系统:centos6.5 hadoop2.2.0 eclipse:mars.1Release(4.5.1)2、插件的安装下载hadoop2.2.0的eclipse插件,解压之后放到ec...
  • GYQJN
  • GYQJN
  • 2015年10月31日 21:48
  • 1555
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在windows下eclipse分析hadoop2.2.0的源代码
举报原因:
原因补充:

(最多只允许输入30个字)