在windows下eclipse分析hadoop2.2.0的源代码

原创 2013年11月12日 20:54:22
最近好几个以前的同事找我问一个很基本的问题,他想学习分析hadoop2系列的源代码(有yarn),但是网上的资料太杂乱了,而且都是基于hadoop的老版本整理的,学习起来非常麻烦。
我解答了几个后,发现好些人的思路非常混乱,问的问题也非常奇怪。网上整理的好的基本没有,所以我整理一个,以后就不用一个个回复了。

首先要明白自己的目标。我看到的目标有两大类:
目标一: 分析hadoop2.2的源代码
分析源代码,并可以简单调试,这个目标与要在生产环境运行是完全不同的。基于这个目标问问题的一般都是windows环境(linux环境下一般没有问题)下发现了各种问题。
本质而言,要分析hadoop2.2的源代码,与其他的开源软件源代码一样,只需要用maven编译hadoop代码就可以,问题是hadoop2.2有几个特殊的依赖。
1)依赖于protocolBuff
protocolBuff也是有windows版本的,直接到googleCode下载可执行文件就可以。
下载以后安装,要在cmd下直接protoc可以运行就OK。
要注意的是,hadoop2.2依赖于protocolBuff的2.5版本,用更低的版本编译hadoop中的协议文件是会报错的。
编译的方式很简单,用protocolBuff直接编译产生代码,或者用 pom.xml中的内容编译。
产生的.java文件可以在pom中指定目标位置,也可以手动copy到对应的目录下。

2) 依赖于javah
javah可以生成头文件.
pom中配置为 <javahPath>${env.JAVA_HOME}/bin/javah</javahPath>  ,所以需要安装JDK。只用JRE是不可以的。
有些版本的maven识别不了env.JAVA_HOME,那样也需要升级maven。

3)依赖于msbuild
没有搞过c++的对这里可能比较不熟(特别是windows下)
这里要下载 visual studio express2010版(免费的),用低的版本是不可以的。
然后用pom中的配置运行就可以(<executable>msbuild</executable>)。
如果下载的是2013等新版本,用pom中的配置也有问题,那就需要自己用studio打开pom中的两个solution,自己编译(会报错,但是看说明解决就可以了).然后把产生的exe/dll 复制到需要放的目录就可以了。

以上的问题解决后,分析hadoop源代码是没有问题了。

目标二:生产运行hadoop2.2

这个就不建议在windows下了,还是用Linux吧,网上资料也非常多,这里就不描述了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

在eclipse上安装hadoop2.2.0插件

1、安装环境系统:centos6.5 hadoop2.2.0 eclipse:mars.1Release(4.5.1)2、插件的安装下载hadoop2.2.0的eclipse插件,解压之后放到ec...
  • GYQJN
  • GYQJN
  • 2015年10月31日 21:48
  • 1656

hadoop-2.2.0配置eclipse插件(windows和linux平台)

hadoop-2.2.0配置eclipse插件(windows和linux平台)
  • CToday
  • CToday
  • 2014年09月26日 17:11
  • 2625

hadoop2.2.0在windows上安装

Good news for Hadoop developers who want to use Microsoft Windows OS for their development activitie...
  • jiutianhe
  • jiutianhe
  • 2013年12月30日 20:28
  • 9236

Eclipse 安装Hadoop-2.2.0插件

1.     安装准备 1.1     Eclipse 下载最新的Eclipse Linux版本,这里主要介绍Linux环境下的安装。 64位Linux版本下载,点击eclipse-jee-keple...
  • GreatElite
  • GreatElite
  • 2014年01月25日 15:14
  • 4483

在Eclipse中编辑Hadoop2.2.0源代码

构建一个高效的Hadoop学习环境对于Hadoop的学习至关重要,本文将Hadoop2.2.0源码导入Eclipse的过程作一总结。 实现思路: 使用Maven生成Eclipse支持的Ma...
  • wl101yjx
  • wl101yjx
  • 2014年05月05日 10:06
  • 1359

使用eclipse查看linux内核源码

由于需要在ubuntu下查看linux的内核源码,一开始用souceInsight,感觉不好用,后来换成eclipse,感觉还是不错的样子~~ 开始导入: 1.首先我们到Window->Pref...
  • huanghai381
  • huanghai381
  • 2016年04月05日 16:59
  • 2752

Windows Eclipse编译调试Linux下的C++代码

Windows机器挂载Linux机器Samba网盘后,可以在Windows机器上通过Eclipse C++编辑Linux机器上的C++代码(Eclipse C++默认是不带编译器和调试器的)。在此基础...
  • yasi_xi
  • yasi_xi
  • 2013年12月14日 12:39
  • 2870

hadoop学习(7)----将Hadoop2.6源码导入到win7下的eclipse

1 介绍 在我们学习Hadoop过程中,源码学习将是一种很好的学习方式,笔者通过这篇微博记录一下自己的如果编译Hadoop2.6的源码并且导入到eclipse中 2 编译 在编译过程中需要几个工具:M...
  • u011518678
  • u011518678
  • 2015年06月21日 10:07
  • 1095

mac版eclipse 转到windows eclipse后问题

记录一下:项目里可能出现很多"._XX"的文件和lib里面的包,删除即可
  • myInterface
  • myInterface
  • 2016年09月06日 16:21
  • 782

windows下Eclipse调试ffmpeg

windows下mingw编译ffmpeg 一、编译环境配置 1、Mingw的安装 (1)、MINGW的下载网址:https://sourceforge.net/projects/mingw/file...
  • listener51
  • listener51
  • 2017年10月09日 16:18
  • 241
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在windows下eclipse分析hadoop2.2.0的源代码
举报原因:
原因补充:

(最多只允许输入30个字)