linux下编译hadoop的2.7.2的源码

1.准备虚拟机环境

2.伪分布式安装

 

 

 

hadoop编译源码

    1. 为什么编译hadoop源码?
        因为从hadoop官方上下载下来的都是32位的,默认都是使用64的机器
    
    2. 准备工作
        1.配置centos6.9
        
        2.  hadoop-2.7.2-src.tar.gz hadoop源码
            protobuf-2.5.0.tar.gz 
            apache-maven-3.6.0-bin.tar.gz maven工程
            apache-ant-1.9.9-bin.zip  
            jdk-8u191-linux-x64.tar.gz jdk
        
        3.在/opt/目录下创建两个目录 software module

            mkdir software 
            mkdir module
        4.上传软件到/opt/software
            rz -bey

            yum -y install lrzsz 安装rz
    
    3. JDK 环境变量配置 JAVA_HOME 和 PATH java -version 验证是否安装成功
        1. tar -zxvf jdk-8u191-linux-x64.tar.gz  -C /opt/module/

        2. vim /etc/profile 添加环境变量

            #JAVA_HOME
            export JAVA_HOME=/opt/module/jdk1.8.0_191
            export PATH=$PATH:$JAVA_HOME/bin
        
        3. source file 配置生效

        4. 验证是否安装成功
            java -version
    4. MAVEN 环境变量配置 MAVEN_HOME 和PATH
        1. tar -zxvf apache-maven-3.6.0-bin.tar.gz  -C /opt/module/

        2. vim /etc/profile
             
             #MAVEN_HOME   
             export MAVEN_HOME=/opt/module/apache-maven-3.6.0
             export PATH=$PATH:$MAVEN_HOME/bin
        
        3. source /etc/profile

        4. 验证是否安装成功
            mnv -v
        5. 替换阿里云的maven仓库
            vim /opt/module/apache-maven-3.6.0/conf/settings.xml
            <mirrors>
                <mirror>
                    <id>nexus-aliyun</id>
                    <mirrorOf>central</mirrorOf>
                    <name>Nexus aliyun</name>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                </mirror> 
            </mirrors>
    
    5. ant解压 配置 ANT_HOME和PATH
        1.tar -zxvf apache-ant-1.10.5-bin.tar.gz  -C /opt/module/

        2.vim /etc/profile

            #ANT_HOME 
            export ANT_HOME=/opt/module/apache-ant-1.10.5
            export PATH=$PATH:$ANT_HOME/bin
        
        3.source /etc/profile

        4.验证是否安装成功
            ant -version
    
    6. 安装 glibc-headers 和 g++ 命令

            yum install glibc-headers

            yum install gcc-c++

    7. 安装make和cmake
           
           yum install make

           yum install cmake
    
    8. 解压protobuf 
        
        1. tar -zxvf protobuf-2.5.0.tar.gz  -C /opt/module/

        2. cd /opt/module/protobuf-2.5.0

        3. ./configure

        4. make

        5. make check

        6. make install

        7. ldconfig

        8. 配置环境变量
            vim /etc/profile

            #LD_LIBRARY_PATH

            export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
            export PATH=$PATH:$LD_LIBRARY_PATH

            source /etc/profile

            protoc --version

    9. 安装openssl 库

        yum  install openssl-devel
    
    10. 安装ncurses-devel 库

        yum  install ncurses-devel
    
    11. 编译源码
            1. 解压源码到 /opt/ 目录下

                tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/
            
            2. cd  /opt/hadoop-2.7.2-src

            3.  mvn package -Pdist,native -DskipTests -Dtar 
                如果失败请重复这个命令


            4. 成功编译后 
                hadoop包 在/opt/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz 目录下

我大概用了3个半小时,如果需要必备的工具链接：https://pan.baidu.com/s/1ylsTyplfph9bCgtJ216GqQ 
提取码：1y8x