Hadoop源码编译+IDEA安装

编译了hadoop，可以方便的查看某个函数的实现，可以根据自己的需要改动hadoop的某些实现机制（hadoop开源的好处）。

环境要求

进入hadoop-x.x.x-src（这里编译的是2.7.3版本）安装根目录，查看BUILDING.txt文件，含有hadoop源码的编译环境要求。

Requirements:

* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )
* Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse_dfs )
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

第一步：安装openssl-devel

[username@master hadoop-2.7.3]$ yum -y install svn 
已加载插件：fastestmirror, langpacks
您需要 root 权限执行此命令。

解决方法：为普通用户添加root权限
切换到root用户：

[username@master ~]$ su
密码：

进入/etc/sudoers文件：

[root@master username] vim /etc/sudoers

显示行号：[Shift]+:进入命令模式，输入set nu回车[Enter]。
大概91行：增加如下一行；保存:wq!，强制修改。

username	ALL=(ALL)	ALL

后面的普通用户使用yum安装需要使用sudo yum install xxx

再次运行yum -y install svn，安装成功。接着执行下面所有命令：

yum -y install autoconf automake libtool cmake zlib-devel lzo-devel 
yum -y install ncurses-devel 
yum -y install openssl-devel 
yum -y install zlib1g-dev libssl-dev

第二步：安装gcc、gcc-c++

检查是否安装过gcc[username@master ~]$ gcc -v

如果最后一行出现下面的版本信息，说明gcc已经安装

gcc 版本 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)

否则使用下面的yum命令进行安装

yum install -y gcc

安装gcc-c++

[username@master ~]$ sudo yum -y install gcc-c++

第四步：安装配置Maven

4.1 安装配置

解压apache-maven-3.6.3-bin.tar.gz安装包到/usr/local指定目录下

[root@master username] tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /usr/local

配置Maven环境变量，进入/etc/profile，在文件最后一行添加：

#maven
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin

保存退出，并输入source /etc/profile命令，使环境变量生效。
最后输入mvn -v，检查是否安装成功。

[root@master apache-maven-3.6.3] mvn -v
\Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /usr/local/apache-maven-3.6.3
Java version: 1.8.0_261, vendor: Oracle Corporation, runtime: /usr/local/jdk1.8.0_261/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-957.el7.x86_64", arch: "amd64", family: "unix"

出现上面版本信息日志，安装成功。下面进行本地仓库的配置与镜像地址。

4.2 本地仓库与镜像配置

进入apache-maven-3.6.3安装根目录下的conf文件夹，编辑配置文件：

[root@master conf] vim settings.xml

在56行，修改本地仓库为：/home/username/mavenRepo，该文件夹位置需要手动创建。

<!-- 在这里我们可以配置，下载后的jar存放的文件夹和路径，请自行更改存放路径 -->
<localRepository>/home/username/mavenRepo</localRepository>

大概在160行，标签内部，输入如下内容，修改镜像为阿里地址。

<mirror>
	<id>alimaven</id>
	<name>aliyun maven</name>
	<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
	<mirrorOf>central</mirrorOf>
</mirror>

第五步：安装Ant

解压缩apache-ant-1.9.4-bin.tar.gz文件到指定文件夹下：

[root@master opt] tar -zxvf apache-ant-1.9.4-bin.tar.gz -C /opt

配置环境变量，在文件最后一行添加：（记得使环境变量生效）

#ant
export ANT_HOME=/opt/apache-ant-1.9.4
export PATH=$ANT_HOME/bin:$PATH

最后检查是否安装成功：

[root@master opt] ant -version
Apache Ant(TM) version 1.9.4 compiled on April 29 2014

第六步：安装FindBugs

解压缩findbugs-3.0.1.tar文件到指定文件夹下：（注意此处是-xvf）

[root@master username] tar -xvf findbugs-3.0.1.tar -C /opt

配置环境变量，在文件最后一行添加：（记得使环境变量生效）

#findbugs
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin

最后检查是否安装成功：

[root@master username] findbugs -version
3.0.1

第七步：安装make、Cmake

检查是否安装了make工具

[root@master username] make -version
GNU Make 3.82
Built for x86_64-redhat-linux-gnu
Copyright (C) 2010  Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

如果没有安装make，执行如下命令：

yum install -y make

检查是否安装了cmake

[root@master username] cmake -version
cmake version 2.8.12.2

第九步：安装Protobuf

解压缩protobuf-2.5.0.tar.gz文件到指定文件夹下：

[root@master username] tar -zxvf protobuf-2.5.0.tar.gz -C /opt

进入安装目录文件夹

[root@master username] cd /opt/protobuf-2.5.0/

执行如下命令：（自己创建文件夹）表示安装到这个目录

[root@master protobuf-2.5.0] ./configure --prefix=/opt/protobufHome

依次执行下面的命令：

make 
make check 
make install

配置环境变量，在文件最后一行添加：（记得使环境变量生效）

#protobuf
export PROTOBUF_HOME=/opt/protobufHome
export PATH=$PATH:$PROTOBUF_HOME/bin

最后检查是否安装成功：

[root@master protobuf-2.5.0] protoc --version
libprotoc 2.5.0

第十步：安装Snappy

解压缩findbugs-3.0.1.tar文件到指定文件夹下：（注意此处是-xvf）

[root@master username] tar -zxvf snappy-1.1.3.tar.gz -C /opt

进入安装根目录

[root@master snappy-1.1.3] cd snappy-1.1.3/

编译安装

[root@master snappy-1.1.3] ./configure
make 
make install

查看snappy lib库

[root@master snappy-1.1.3] ls -lh /usr/local/lib |grep snapp
-rw-r--r--. 1 root root 510K 12月  5 20:21 libsnappy.a
-rwxr-xr-x. 1 root root  955 12月  5 20:21 libsnappy.la
lrwxrwxrwx. 1 root root   18 12月  5 20:21 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx. 1 root root   18 12月  5 20:21 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x. 1 root root 253K 12月  5 20:21 libsnappy.so.1.3.0

开始编译Hadoop源码

进入工作目录到hadoop-2.7.3-src源码根目录下；

[username@master ~]$ cd ideaProjects/hadoop-2.7.3-src/

执行如下命令，开始编译；

[username@master hadoop-2.7.3-src]$ mvn package -Pdist,native,docs -DskipTests -Dtar

错误1：

[ERROR] Failed to execute goal
org.codehaus.mojo:findbugs-maven-plugin:3.0.0:findbugs (default) on
project hadoop-project-dist: Unable to parse configuration of mojo
org.codehaus.mojo:findbugs-maven-plugin:3.0.0:findbugs for parameter
pluginArtifacts: Cannot assign configuration entry ‘pluginArtifacts’
with value ‘${plugin.artifacts}’ of type
java.util.Collections.UnmodifiableRandomAccessList to property of type
java.util.ArrayList -> [Help 1]

解决方法：

执行该条命令编译源码：

[username@master hadoop-2.7.3-src]mvn package -Pdist,native -DskipTests -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy -Drequire.openssl

错误2：

main:
[mkdir] Created dir: /home/username/ideaProjects/hadoop-2.7.3-src/hadoop-common-project/hadoop-kms/downloads
[get] Getting: http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.44/bin/apache-tomcat-6.0.44.tar.gz
[get] To: /home/username/ideaProjects/hadoop-2.7.3-src/hadoop-common-project/hadoop-kms/downloads/apache-tomcat-6.0.44.tar.gz
…

出现这个错误的原因是连接不上服务器下载tomcat，它要求的tomcat版本是6.0.44。

解决方法：

我们把下载好的apache-tomcat-6.0.44.tar.gz放在hadoop-2.7.3-src/hadoop-common-project/hadoop-kms/downloads下，因为build-main.xml文件说下载后放在这里，我们提前放在这里，它就不会再去下载了。
重新编译前，先清理一下将以前生成的删除；

[username@master hadoop-2.7.3-src]$ mvn clean

再次编译；

[username@master hadoop-2.7.3-src]mvn package -Pdist,native -DskipTests -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy -Drequire.openssl

又发现错误，提示hadoop-2.7.3-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads下也需要一份，然后就OK了。
再次重新编译，等待编译······

编译成功了的日志信息如下，编译时间与电脑性能有关。

编译成功后的hadoop-2.7.3.tar.gz在hadoop-2.7.3-src/hadoop-dist/target目录下，如下所示：

[username@master bin]$ cd /home/username/ideaProjects/hadoop-2.7.3-src/hadoop-dist/target
[username@master target]$ ll
总用量 581476
drwxrwxr-x. 2 username username        28 12月  5 22:21 antrun
drwxrwxr-x. 3 username username        22 12月  5 22:21 classes
-rw-rw-r--. 1 username username      1883 12月  5 22:21 dist-layout-stitching.sh
-rw-rw-r--. 1 username username       656 12月  5 22:21 dist-tar-stitching.sh
drwxrwxr-x. 9 username username       149 12月  5 22:21 hadoop-2.7.3
-rw-rw-r--. 1 username username 197964672 12月  5 22:21 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 username username     26293 12月  5 22:21 hadoop-dist-2.7.3.jar
-rw-rw-r--. 1 username username 397374833 12月  5 22:21 hadoop-dist-2.7.3-javadoc.jar
-rw-rw-r--. 1 username username     23823 12月  5 22:21 hadoop-dist-2.7.3-sources.jar
-rw-rw-r--. 1 username username     23823 12月  5 22:21 hadoop-dist-2.7.3-test-sources.jar
drwxrwxr-x. 2 username username        51 12月  5 22:21 javadoc-bundle-options
drwxrwxr-x. 2 username username        28 12月  5 22:21 maven-archiver
drwxrwxr-x. 3 username username        22 12月  5 22:21 maven-shared-archive-resources
drwxrwxr-x. 3 username username        22 12月  5 22:21 test-classes
drwxrwxr-x. 2 username username         6 12月  5 22:21 test-dir

安装IDEA

JDK已经安装成功，然后去官网下载idea：
https://www.jetbrains.com/idea/download/#section=linux
解压到指定安装目录

[username@master ~]$ tar -zxvf ideaIC-2020.2.3.tar.gz -C software/

进入到idea-IC-202.7660.26根目录下的bin文件夹

[username@master software]$ cd idea-IC-202.7660.26/bin/

执行./idea.sh命令
错误：

OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was
deprecated in version 9.0 and will likely be removed in a future
release.

Startup Error: Unable to detect graphics environment

解决方法：
不要在外面通过远程的方式执行此启动命令，要在linux图形界面中打开终端来执行此命令。

创建桌面快捷方式
在桌面上重新右击打开终端，命令行键入：vim idea.desktop，进入之后按i进入插入模式，在打开的文件中编辑以下内容，保存退出。

[Desktop Entry]
Version=2020.2.7
Type=Application
Name=IntelliJ IDEA 
Comment=Sophisticated text editor for code, markup and prose
Exec=/home/username/software/idea-IC-202.7660.26/bin/idea.sh ##执行文件的位置，这里替换成你自己的
Terminal=false
Icon=/home/username/software/idea-IC-202.7660.26/bin/idea.png ##图标的位置，修改成你自己的
Categories=Development;