在Windows操作系统上编译Hadoop源码

原创 2016年08月19日 17:12:29

在上篇博客中,笔者提到曾经在Windows上编译Hadoop源码。这里将具体流程列出。

一、操作系统和Hadoop版本

Windows 10专业版(64位),Hadoop 2.7.2。

二、安装软件依赖

1、jdk 1.8
安装后设置环境变量(Path中加入java路径;JAVA_HOME,指向jdk目录)。
2、Ant 1.9.7
将文件解压到C:\ant目录下,设置环境变量(Path中加入ant路径)。
3、Maven 3.3.9
将文件解压到C:\maven目录下,设置环境变量(Path中加入mvn路径)。
4、Protocol Buffers 2.5.0
下载(https://github.com/google/protobuf/releases/tag/v2.5.0)后,将文件解压到C:\protobuf目录下,设置环境变量(Path中加入protoc.exe路径)。
5、CMake 3.2.1
下载(https://cmake.org/files/v3.2/)后,安装到C:\CMake目录下,设置环境变量(Path中加入cmake路径)。
6、Visual Studio 2015

三、编译

1、将Hadoop源码放在C:\build\目录下
2、更改VC++编译设置
用Visual Studio 2015分别打开C:\build\hadoop-common-project\hadoop-common\src\main\native\winutils.sln和C:\build\hadoop-common-project\hadoop-common\src\main\native\native.sln,升级VC++编译器和库。
更改C:\build\hadoop-hdfs-project\hadoop-hdfs\pom.xml文件中第446行内容,将两个“Visual Studio 10”改成“Visual Studio 14”。
3、Maven编译
打开cmd(不需以管理员身份),进入C:\build\目录,使用如下命令进行编译
mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true -e
编译的结果在C:\build\hadoop-dist\target\hadoop-2.7.2目录下。

四、启动集群

使用上面的编译结果可以在Windows操作系统上启动一个伪分布式集群,从而可以测试MapReduce程序。但需要安装Cygwin,并设置环境变量(Path中加入cygwin64\bin的全路径)。
编译后,将C:\build\hadoop-dist\target\hadoop-2.7.2目录下的内容复制到目标工作目录下,修改相关配置(具体修改方式可在网上查询),然后用如下命令启动集群
hdfs namenode -format
start-dfs.cmd
start-yarn.cmd

【注】首次编译请严格遵守上面所提各依赖软件的版本。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/winfield821/article/details/52208495

zookeeper源码分析

-
  • 1970年01月01日 08:00

windows 64位编译hadoop 3.0源码

我这边是windows10 64位编译hadoop 3.0源码        1. 安装protobuffer,主要是下载protoc-2.5.0-win32,并将其解压,添加到环境变量Path中。...
  • imzhiyang
  • imzhiyang
  • 2018-01-05 14:25:30
  • 275

在windows 7 64bit下编译Hadoop 2.6.0源码

基本环境: Windows 7 64bit NTFS格式文件系统 Administrator账户 JDK 7u76(Oracle官网下载) hadoop-src-2.6.0.tar.gz(在官网下载的...
  • oneinmore
  • oneinmore
  • 2015-04-11 17:28:04
  • 3664

Windows 10编译Hadoop 2.6.0源码

本文介绍了在Windows10上编译Hadoop2.6.0的过程以及问题与解决方法。 转载自:https://www.zybuluo.com/ncepuwanghui/note/343755 原作...
  • farawayzheng_necas
  • farawayzheng_necas
  • 2017-01-16 11:55:51
  • 2066

Windows环境编译Hadoop 2.7.2

刚好工作需要,预研了下Hadoop,由于中间也出现了一些编译的问题,现整理处理正常的编译顺序,避免下次继续掉坑。...
  • JiffyChen
  • JiffyChen
  • 2016-03-22 18:21:30
  • 1063

windows7 64位编译hadoop2.7.1

编译hadoop,谁知道遇到这么多问题,写下步骤: 1、下载hadoop2.7.1。http://hadoop.apache.org/releases.html 2、下载maven3.3.3。bi...
  • baidu_23220845
  • baidu_23220845
  • 2015-09-14 23:13:35
  • 2816

Windows下开发Hadoop程序遇到的坑及解决方案

背景 过几天工作需要用到Hadoop,于是就弄了本PDF看。看了半天也是晕晕乎乎的。干脆直接动手,这样还能掌握的快一点。于是我就在本地要搭建一个Hadoop的开发环境。 环境前提 1、H...
  • zw0283
  • zw0283
  • 2016-08-31 14:38:26
  • 3794

在windows环境下编译hadoop

1、环境准备1.1 maven的安装去网上下载maven的安装包,解压。再配置环境变量,将%M2_HOME%\lib添加到path中。 安装完成之后,在cmd中键入 mvn -v,出现 ![这里写图...
  • GYQJN
  • GYQJN
  • 2016-08-18 19:50:10
  • 1971

在 win7 64 上编译 hadoop 2.7.3的经历

主要讲述了自己在 Win7 64 系统上编译 Hadoop 的亲身经历。
  • buxinchun
  • buxinchun
  • 2017-05-07 16:47:20
  • 1469

Win10-x64编译Hadoop2.7.3

参考资料https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt http://note.youdao.com/share/?...
  • mrbcy
  • mrbcy
  • 2017-02-19 19:08:16
  • 2986
收藏助手
不良信息举报
您举报文章:在Windows操作系统上编译Hadoop源码
举报原因:
原因补充:

(最多只允许输入30个字)