第一章--hadoop2.1.0和hadoop2.2.0编译安装教程

原创 2013年10月05日 12:24:41

     由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的wordcont例子,所以这个错误不会导致hadoop2.1.0的安装和运行失败,此错误引起原因是由于鉴于性能问题以及某些Java类库的缺失,对于某些组件,Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so,此文件在发行的hadoop版本lib/native目录下。详细请看下面的这个官方链接hadoop.apache.org/docs/r2.1.0-beta/hadoop-project-dist/hadoop-common/NativeLibraries.html。当然这里也可以在core-site.xml里配置不使用本地库。

  一、准备环境(先列出这些所需的软件环境,如果不安装除hadoop2.1.0源码中BUILDING.txt要求的软件环境则编译的时候会报错,后面会加以说明):

  1.CentOS-6.4-x86_64-bin-DVD1(1).iso(不一定使用centos系统,主流的unix like即可,但后面软件环境可能有出入)

  下载地址:isoredirect.centos.org/centos/6/isos/x86_64/

  2.hadoop-2.1.0-beta-src.tar.gz

  下载地址:apache.dataguru.cn/hadoop/common/hadoop-2.1.0-beta/

  下载地址:svn.apache.org/repos/asf/hadoop/common/tags/release-2.1.0-beta/(svn工具checkout链接)

  上面两个链接都可以获取hadoop2.1.0-beta源码

  3.jdk-7u40-linux-x64.rpm(hadoop2.1.0源码中BUILDING.txt中要求使用1.6 or newer)

  下载地址:www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

  4.apache-maven-3.0.5-bin.tar.gz(hadoop2.1.0源码中BUILDING.txt中要求使用3.0,从hadoop2.0版本以后使用maven编译,之前用Ant)

  下载地址:maven.apache.org/download.cgi(目前最新版本3.1,hadoop2.1.0源码中BUILDING.txt中要求使用3.0)

  5.apache-ant-1.9.2-bin.zip(下载二进制版本的,这个需要编译安装findbugs

  下载地址:ant.apache.org/bindownload.cgi

  6.CMake 2.6 x86-64 or newer (if compiling native code)hadoop2.1.0源码中BUILDING.txt中要求使用2.6 or newer

  下载地址:www.cmake.org/cmake/resources/software.html

  7.findbugs-2.0.2-source.ziphadoop2.1.0源码中BUILDING.txt中要求使用1.3.9 or newer

  下载地址:sourceforge.jp/projects/sfnet_findbugs/releases/

   如果不安装则报如下错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (site) on project hadoop-common: An Ant BuildException has occured: stylesheet /usr/hadoop2.1/hadoop-2.1.0-beta-src/hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn't exist. -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common


  8.zlib-devel-1.2.3-3.x86_64.rpm

  下载地址:rpm.pbone.net/index.php3/stat/4/idpl/8192688/dir/startcom_5/com/zlib-devel-1.2.3-3.x86_64.rpm.html

  如果不安装则报如下错误:

[exec] CMake Error at /usr/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:57 (MESSAGE):
[exec]   Could NOT find ZLIB (missing: ZLIB_INCLUDE_DIR)
[exec] Call Stack (most recent call first):
[exec]   /usr/share/cmake/Modules/FindZLIB.cmake:22 (FIND_PACKAGE_HANDLE_STANDARD_ARGS)
[exec]   CMakeLists.txt:89 (find_package)
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common: An Ant BuildException has occured: exec returned: 1 -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common

  9.protobuf-2.5.0.tar.gz

  下载地址:code.google.com/p/protobuf/

  10.如果全新编译hadoop2.2.0需要打补丁hadoop-10110,怎么做文章最后内容有说明。如果不编译hadoop2.2.0此步骤不需要考虑。

  二、准备环境环节中的软件安装

  1.安装centos系统,不在这里介绍网上很多教程

  2.解压hadoop-2.1.0-beta-src.tar.gz源码到/usr/hadoop/  命令如下:tar -zxvf hadoop-2.1.0-beta-src.tar.gz -C /usr/hadoop/

  3.用rpm命令安装:rpm -ivh jdk-7u40-linux-x64.rpm,如果你安装centos是带有界面的,双击rpm文件即可安装。

    安装完成后,配置环境变量,使用vi命令编辑profile文件 vi /etc/profile 移动到最后一行添加以下内容:

    export JAVA_HOME=/usr/java/jdk1.7.0_40
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:/lib/tools.jar

    添加完成后,运行source /etc/profile使其立即生效

    运行命令java -version查看是否安装成功,如下图所示则说明安装成功。

    

  4.解压apache-maven-3.0.5-bin.tar.gz到/usr 命令如下:tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /usr/

    配置环境变量使用vi命令编辑profile文件 vi /etc/profile 移动到最后一行添加以下内容:

    export MAVEN_HOME=/usr/apache-maven-3.0.5
    export PATH=$PATH:$MAVEN_HOME/bin

    添加完成后,运行source /etc/profile使其立即生效,运行命令mvn -version查看是否安装成功,如下图所示则说明安装成功。

    

  5.同样把apache-ant-1.9.2-bin.zip解压到/usr/下,配置环境变量使用vi命令编辑profile文件 vi /etc/profile 移动到最后一行添加以下内容:

    export ANT_HOME=/usr/apache-ant-1.9.2
    export PATH=$PATH:$ANT_HOME/bin

    运行命令ant -version查看是否安装成功,如下图所示则说明安装成功。

    

    注:虽然本身centos操作系统自带ant,但不好用,编译findbugs会失败。所以要重新安装。

 6.安装CMake,可以使用yum命令在线安装,yum命令不熟悉的网上查资料,安装命令:yum install cmake ,如图所示

    

    下面需要再安装openssl-devel,安装命令yum install openssl-devel,此步不做的话会报如下错误

[exec] CMake Error at /usr/share/cmake/Modules/FindOpenSSL.cmake:66 (MESSAGE):
[exec]   Could NOT find OpenSSL
[exec] Call Stack (most recent call first):
[exec]   CMakeLists.txt:20 (find_package)
[exec]
[exec]
[exec] -- Configuring incomplete, errors occurred!
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1 -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-pipes

    

  7.解压findbugs-2.0.2-source.zip到/usr,使用ant编译安装。如果不安装则编译的时候会报

    hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn’t exist. -> [Help 1]

    先进入解压后的目录cd /usr/findbugs-2.0.2

    执行ant命令 如图所示则说明成功

    

    配置环境变量使用vi命令编辑profile文件 vi /etc/profile 移动到最后一行添加以下内容:

    export FINDBUGS_HOME=/usr/findbugs-2.0.2
    export PATH=$PATH:$FINDBUGS_HOME/bin

    添加完成后,运行source /etc/profile使其立即生效

  8.用rpm命令安装:rpm -ivh zlib-devel-1.2.3-3.x86_64.rpm,如果你安装centos是带有界面的,双击rpm文件即可安装。

    也可以不用下载rpm文件,用yum命令在线安装也可以,安装命令:

    yum install zlib

    yum install zlib-devel

  9.tar命令解压protobuf-2.5.0.tar.gz到/usr目录下,

    进入到解压后的目录下:cd /usr/protobuf-2.5.0

    在linux64bit下编译执行./configure LDFLAGS="-s" CFLAGS=-m64 CXXFLAGS=-m64 FFLAGS=-m64 FCFLAGS=-m64  

    --build=x86_64-gnu-linux --host=x86_64-gnu-linux --target=x86_64-gnu-linux

    在linux32bit下编译使用执行./configure LDFLAGS="-s" CFLAGS=-m32 CXXFLAGS=-m32 FFLAGS=-m32 FCFLAGS=-m32 --

    --build=x86_64-gnu-linux --host=x86-gnu-linux --target=x86-gnu-linux

    参数说明如下:

       --prefix                 安装目录;
      --LDFLAGS="-s"           消除库的依赖性;
      --CFLAGS                  C compiler flags;
      --CXXFLAGS                C++ compiler flags;
      --FCFLAGS                 设置compiler是32bit还是64bit;

      --build                   configure for building on BUILD;

      --host                    cross-compile to build programs to run on HOST;
      --target                  configure for building compilers for TARGET; 

    如果直接进行编译此报错如下图,在环境变量设置中查找不到编译器。

    

    解决上面问题,需要安装

    yum install glibc-headers

    yum install glibc-devel

    yum install gcc

    yum install gcc-c++

    其实直接安装最后一项即可,因为gcc-c++安装的时候会依赖上面的三个包的安装,所以直接运行yum install gcc-c++

    如图所示

    

    安装完成后再执行./configure LDFLAGS="-s" CFLAGS=-m64 CXXFLAGS=-m64 FFLAGS=-m64 FCFLAGS=-m64  

    --build=x86_64-gnu-linux --host=x86_64-gnu-linux --target=x86_64-gnu-linux

    make

    male install

    执行protoc --version 返回版本号则证明安装成功

    如下图则说明安装成功

    

  三、hadoop2.1.0编译

  1.进入hadoop2.1.0解压后的源码目录:cd /usr/hadoop/hadoop-2.1.0-beta-src

  2.执行mvn命令编译,此过程需要连接到网络,编译的速度取决于你的网速,在源码的BUILDING.txt文件说明中有以下几种

    Building distributions:


    2.1.Create binary distribution without native code and without documentation:


    $ mvn package -Pdist -DskipTests -Dtar


    2.2.Create binary distribution with native code and with documentation:


    $ mvn package -Pdist,native,docs -DskipTests -Dtar


    2.3.Create source distribution:


    $ mvn package -Psrc -DskipTests


    2.4.Create source and binary distributions with native code and documentation:


    $ mvn package -Pdist,native,docs,src -DskipTests -Dtar


    2.5.Create a local staging version of the website (in /tmp/hadoop-site)


    $ mvn clean site; mvn site:stage -DstagingDirectory=/tmp/hadoop-site


    我们选择2.2执行mvn package -Pdist,native,docs -DskipTests -Dtar

    执行结果如下图,执行时间大约用了40多分钟。

    

    编译后的项目发布版本在/usr/hadoop/hadoop-2.1.0-beta-src/hadoop-dist/target/目录下,如图说明

    

  四、hadoop2.1.0单机安装

  1.把我们上面编译好的项目拷贝到/usr/hadoop目录下

  2.配置环境变量,编辑vi /etc/profile文件,移动到最后一行添加如下数据

    
    export HADOOP_DEV_HOME=/usr/hadoop/hadoop-2.1.0-beta

    export PATH=$PATH:$HADOOP_DEV_HOME/bin

    export PATH=$PATH:$HADOOP_DEV_HOME/sbin

    export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}

    export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}

    export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}

    export YARN_HOME=${HADOOP_DEV_HOME}

    export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

    export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

    export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

    保存退出,执行source /etc/profile使其立即生效。

  3.配置ssh免密码登陆

    由于centos已经自带给安装好,如果你系统中没有安装ssh请先进行安装。在这里不做说明,网上大把的。

    执行ssh-keygen -t rsa -P "" 加上-P ""参数只需要一次回车就可以执行完毕。不加需要三次回车

    执行cd /root/.ssh

    执行ls 你会看到如下图所示文件,会产生公私钥,后缀为.pub是公钥。

    

    执行cat id_rsa.pub >> authorized_keys把公钥加入到authorized_keys

    同时注意.ssh文件夹的权限是否为700,authorized_keys的权限是否为600,如果不是则做相应修改

    测试命令:ssh localhost,如果不需要输入密码就能连接,则说明成功配置

  4.编写hadoop配置文件,在目录etc/hadoop下,一共五个文件需要配置,分别是:

    hadoop-env.sh,core-site.xml,hdfs-site.xml,

    mapred-site.xml(etc/hadoop没有这个配置文件,但有mapred-site.xml.template复制一份,去掉.template后缀),yarn-site.xml

    4.1 编辑hadoop-env.sh加入export JAVA_HOME=/usr/java/jdk1.7.0_40

    4.2 编辑core-site.xml        

        <configuration>
          <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:8020</value>
          </property>
        </configuration>

    4.3 编辑hdfs-site.xml    

<configuration>
   <property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/hadoop/hadoop-2.1.0-beta/dfs/name</value>
		<final>true</final>
   </property> 	 
   <property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/hadoop/hadoop-2.1.0-beta/dfs/data</value>
		<final>true</final>
   </property> 
   <property>
		<name>dfs.replication</name>
		<value>1</value>
   </property>  
   <property>
	       <name>dfs.permissions</name>
	       <value>false</value>
   </property> 
</configuration>

      


    4.4 编辑mapred-site.xml   

             

       <configuration>
	         <property>
	            <name>mapreduce.framework.name</name>
	            <value>yarn</value>
	         </property> 	 
       </configuration>

    4.5 编辑yarn-site.xml      

        <configuration>
          <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce.shuffle</value>
          </property>
        </configuration>

  5. 格式化HDFS文件系统

     执行命令 hadoop namenode -format

     执行结果如图所示,则说明执行成功。

       

     需要说明的是,从2.0以后启动和停止hadoop的命令start-all.sh和stop-all.sh不建议使用,开始摒弃掉

     取而代之的将使用start-dfs.sh和start-yarn.sh启动hadoop,详细请看官方说明,

     分别运行start-dfs.sh和start-yarn.sh守护进程,如下图运行正常,并且使用自己编译的hadoop版本没有报无法加载本地库的错误

     

     访问localhost:50070正常       

        

             

     访问资源管理界面localhost:8088,hadoop从版本2.0以后界面功能变的很强大

       

          


  五、hadoop2.1.0单机运行hadoop自带的wordcount例子

  1.在hdfs文件系统创建两个目录/tmp/input

    hadoop fs -mkdir /tmp

    hadoop fs -mkdir /tmp/input

  2.从本地上传一个文件到hdfs

    hadoop fs -put /usr/hadoop/test.txt /tmp/input

  3.查看test.txt文件是否成功上传到hdfs上

    hadoop fs -ls /tmp/input

    如图已经上传成功

    

   4.执行wordcount自带的例子

     切换到如图所示目录

     

     执行如图所示命令,此时运行一个job任务

     

    任务运行成功         

         


    查看执行的结果,和预期的结果一致

    

       以上仅是单纯的测试一下,有需要编译好的请回复我,后续会写第二章,用自己编译的hadoop版本搭建一个集群。

   自己编译的好处是可以自己动手学习调试和修改源代码。最后需要说明如果之前按照如上方式编译过hadoop2.1,然后在编译hadoop2.2是没问题的,因为之前maven缓存问题,见不到错误,如果直接编译解压hadoop2.2源码需要先打一个补丁hadoop-10110,链接如下://issues.apache.org/jira/browse/HADOOP-10110,不然在编译Apache Hadoop Auth时会报错,原因是在hadoop2.2下载源码解压代码不完整有bug,所以要编辑hadoop-2.2.0-src/hadoop-common-project/hadoop-auth下然pom.xml然后把hadoop-10110中内容修改下其实增加一项即可,内容为:

   <dependency>
       <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty-util</artifactId>
       <scope>test</scope>
   </dependency>





Ant CMake exec returned: 2 && exec returned: 1 解决

ubuntu: exec returned: 2 CMake Error: The C++ compiler "CMAKE_CXX_COMPILER-NOTFOUND" is not ...
  • hua_ed
  • hua_ed
  • 2015年10月21日 16:18
  • 1474

Project甘特图使用方法

普加甘特图组件分为两个区域:表格区、甘特图区。 拖拽可以调节视图区域大小,如下图: 折叠隐藏视图区域: 添加任务:1.右键菜单:“新增任务”菜单项;2.工具栏:“新增任务”按钮 修改任务:1.右...
  • iPlatForm
  • iPlatForm
  • 2016年02月06日 21:13
  • 12585

hadoop2.6编译64笔记

期待对hadoop的了解。开始了hadoop之旅、 听说没有64安装包,只能编译。 需要软件。 1.安装好了mvn,并且配置好了mvn的环境变量(我开始使用maven版本:3.0.5,发现各种配置不匹...
  • swingling
  • swingling
  • 2015年05月18日 21:36
  • 245

hadoop2.7.1本地编译

Requirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs)...
  • zyj8170
  • zyj8170
  • 2015年07月17日 15:20
  • 8220

project设置工期为1个工作日,但开始时间与结束时间不是同一天,如何解决或者是设置?

这种情况基本是由于开始时间并不是当天早上8:00开始的,检查方法是在“文件-->选项”-->"常规"中可以设置日期的显示格式,如下图,改成显示几点几分钟的格式,然后再检查一下那个开始时间是不是从早上8...
  • mourJava
  • mourJava
  • 2016年08月23日 11:07
  • 17835

Project"网络图"介绍(转)

“网络图”是项目计划的另一种表现形式,网络图中的每个结点代表一项任务,节点之间的连线表示任务之间相关性。与“甘特图”的区别是没有树状的任务分解结构,但是网络图对于明确任务之间的相关性有比较大的优越性。...
  • tantexian
  • tantexian
  • 2015年01月28日 19:44
  • 3540

Mac下 hadoop-2.7.0 编译过程记录

hadoop安装好后,启动的时候总报错 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf...
  • beijihukk
  • beijihukk
  • 2016年12月21日 12:00
  • 1480

Hadoop源码学习-编译源码

关于Hadoop源码的学习,编译源码
  • strongyoung88
  • strongyoung88
  • 2017年04月02日 11:37
  • 861

谈软件开发项目快速编写Project进度计划—2012年CMMI5试点

虽然从事软件项目管理工作多年,但一直不得要领,没有多少感悟。今年,有机会参与CMM5,我带的项目作为试点项目,经过一段时间的磨练,终于有所突破领悟,融汇贯通了点。     工作量估算方法很多,我常...
  • xiaoyw
  • xiaoyw
  • 2013年11月11日 14:51
  • 2197

Project 2013项目管理教程(4):设置资源

任务的完成,离不开人力、物力、财力。这反映到Project中,就是资源。一般的,在绑定任何和资源之前,首先要做的,是明确这个项目总共有哪些资源,这些资源的特性是什么。 首先,切换到资...
  • lifan_3a
  • lifan_3a
  • 2015年03月28日 11:17
  • 1013
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:第一章--hadoop2.1.0和hadoop2.2.0编译安装教程
举报原因:
原因补充:

(最多只允许输入30个字)