PK体系大数据平台- Apache Hadoop安装说明

参考文档：
http://dblab.xmu.edu.cn/blog/install-hadoop/
需要有JDK环境，PK机自带openJDK，安装目录：/usr/lib/jvm/java-1.8.0-openjdk-arm64
本次安装版本：hadoop-2.7.3
本次安装仅为本地模式、伪分布式模式，若需要安装完全分布式请参考上面链接文档。
1：下载hadoop
https://hadoop.apache.org/releases.html
2：解压tar文件
cd ~/hadoop/
tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop
3：检查hadoop是否可以
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
./bin/hadoop version
4：伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。
在配置文件中的目录，若没有创建即可。
4.1 修改配置文件 core-site.xml
原内容：


修改为：


hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000


4.2 修改配置文件 hdfs-site.xml


dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data


4.3 Hadoop配置文件说明
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
5：NameNode 的格式化
./bin/hdfs namenode -format
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
（1）如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则说明JAVA_HOME 环境变量没设置好。
（2）如果上一步设置好了，则找到hadoop配置文件目录的hadoop-env.sh，把export JAVA_HOME=${JAVA_HOME} 这行，修改成JAVA安装路径的具体地址。
6：启动NameNode 和 DataNode
./sbin/start-dfs.sh
*** 启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。
启动完成后，可以通过进程判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。
若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：

针对 DataNode 没法启动的解决方法

./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启
7：成功启动
可以访问http://ip:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

8：yarn
YARN 是 Hadoop 2.x 中的内容，（伪分布式不启动 YARN 也可以，一般不会影响程序执行）。启动 Hadoop 后，见不到 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。
YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性。
前面通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。
9：修改配置文件 mapred-site.xml
先通过模板新建一份配置文件：
cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
再修改内容：


mapreduce.framework.name
yarn


10：修改配置文件 yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


11：启动 YARN（需要先执行过 ./sbin/start-dfs.sh）
./sbin/start-yarn.sh
启动后，可以看到多了 NodeManager 和 ResourceManager 两个后台进程。
可以通过访问http://ip:8088 查看任务的运行情况。
***不启动 YARN 需重命名 mapred-site.xml
如果不想启动YARN，务必把配置文件mapred-site.xml重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。

说明：本文档中没有涉及到环境变量的修改（/etc/profile和 ~/.bashrc），如果在安装过程中遇到问题可检查环境变量的配置。
下面为本次安装机器上 /etc/profile 的配置：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-arm64
export HADOOP_HOME=/home/kylin/hadoop/hadoop
export SCALA_HOME=/home/kylin/scala/scala-2.12.4
export JAVA_BIN=$JAV{A}_{H}OME/binexportJAV{A}_{L}IB=$JAVA_HOME/jre/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOO{P}_{H}OME/lib/nativeexportPATH=.:$JAVA_BIN:$HADOO{P}_{H}OME/sbin:$HADOOP_HOME/bin:$SCAL{A}_{H}OME/bin:$SPARK_HOME/bin:$PATHexportHADOO{P}_{O}PTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export LD_LIBRARY_PATH=$L{D}_{L}IBRAR{Y}_{P}ATH:$HADOOP_HOME/lib/native:/usr/local/lib