编译Hadoop源码包解决container-executor.cfg文件及其各级父路径问题

一、编译hadoop2.7.6背景

在ZOOKEEPER、HDFS、YARN、HBASE配置Kerberos认证博客中，关于YARN配置Kerberos认证时，产生了hadoop-2.7.6/etc/hadoop must be owned by root,but is owned by 1000错误

2019-02-28 14:43:21,600 INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state INITED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to initialize container executor
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to initialize container executor
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:218)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:495)
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:543)
org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:216)
Caused by: ExitCodeException exitCode=24: File /home/hadoop/core/hadoop-2.7.6/etc/hadoop/container-executor.cfg must be owned by root, but is owned by 1000
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:585)
	at org.apache.hadoop.util.Shell.run(Shell.java:482)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:776)
	at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.init(LinuxContainerExecutor.java:185)

其原因是在check_configuration_permissions方法中，对于配置文件container-executor.cfg路径目录路径，在一个do循环内循环调用is_only_root_writable方法判断配置文件container-executor.cfg路径及所有者必须是root用户，否则不予启动容器，说明白点就是源码中规定container-executor.cfg配置文件的目录及多层父级的owner所有者必须是root用户，而container-executor.cfg文件的路径又在$HADOOP_HOME/bin/container-executor文件中写死了，所以要么改变container-executor.cfg配置文件的所有目录的所有者为root，要么重新编译container-executor指定一个路径，前提是该路径目录及多级目录owner必须是root。
  解决方案一:                                         
       执行该脚本的compile_all函数重新编译hadoop，将编译完成的hadoop-2.7.6.tar.gz包替换原来的hadoop包，将container-executor.cfg路径dir设置为一个目录所有者都是root用户组的路径,例如使用root用户新建/etc/hadoop目录并将container-executor.cfg放在该路径下,将$HADOOP_HOME/bin/container-executor修改用户组为root:hadoop，并将权限chmod赋予6050，重新启动nodemanager成功，该方案比较麻烦,推荐使用方案二!       
  解决方案二:                           
       执行该脚本的compile_container_executor函数，cd targe/usr/local/bin/即可获得重新编译container-executor文件，将container-executor.cfg路径dir设置为一个目录所有者都是root用户组的路径，例如使用root用户新建/etc/hadoop目录并将container-executor.cfg放在该路径下，将$HADOOP_HOME/bin/container-executor修改用户组为root:hadoop，并将权限chmod赋予6050，重新启动nodemanager成功，该方案比较简单，推荐使用此方案!

二、编译hadoop2.7.6

首先在编译hadoop-2.7.6-src.tar.gz源码包之前，肯定先需要下载对应的源码包，下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/，然后我们使用linux系统进行hadoop编译，为了不产生权限等一系列问题，所以使用root管理员用户进行编译的所有操作。将下载好的源码包进行解压到/root目录下，我们首先需要了解对应不同版本关于编译hadoop源码的要求，进入hadoop对应版本的源码包解压后的hadoop-2.7.6-sr