Hadoop集群搭建

(1)下载安装包
下载安装包如图4.1所示。

图4.1 安装包
(2)安装Java JDK
JDK[12]版本是jdk-8u71-linux-x64.tar.gz，当前是普通用户，超级管理员才能对/opt目录进行操作，所以要使用Sudo命令才能解压。
a) 解压到/opt目录下：
Sudo tar -zxvf /home/hadoop/jdk-8u71-linux-x64.tar.gz -C /opt/
b)并将解压后的文件夹jdk-8u71-linux-x64.tar.gz改名为java：
Sudo mv /opt/jdk1.8.0_71 /opt/java
c)修改Java目录的权限及用户：
Sudo chown -R hadoop.hadoop /opt/java
d)修改环境变量：
Sudo vim /etc/profile,在文档末端添加如下内容：
Export JAVA_HOME=/opt/java
Export PATH= $JAVA_HOME/bin:$PATH
e)刷新环境变量：
Source /etc/profile
f)利用Java命令验证是否安装成功：
Java -version
正常结果如图4.2所示。

图4.2 JDK安装测试
(3)Hadoop安装
a)安装hadoop-2.7.4.tar.gz解压到/opt目录下：
Sudo tar -zxvf /home/hadoop/hadoop-2.7.4.tar.gz -C /opt/
b)将解压后的文件夹hadoop-2.7.4.tar.gz改名为hadoop：
Sudo mv /opt/hadoop-2.7.4.tar.gz /opt/hadoop
c)修改hadoop目录的权限及所属用户：
Sudo chown -R hadoop.hadoop /opt/hadoop
d)修改环境变量：
Sudo vim /etc/profile,末端添加如下内容：
Export HADOOP_HOME=/opt/hadoop
Export PATH= $HADOOP _HOME/bin:$PATH
e)刷新环境变量：
Source /etc/profile,
f)验证是否安装成功：
Hadoop version
正常结果如图4.3所示。

图4.3 Hadoop安装测试
(4)修改hosts文件
Sudo vim /etc/hosts，添加本机IP地址对应本机映射名和其它节点IP地址对应映射名。
(5)修改hadoop-env.sh文件配置
修改JAVA_HOME目录：Export JAVA_HOME=/opt/java/
(6)修改core-site.xml文件配置
修改内容如图4.4所示。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:9000/</value>  
    <description>NameNode URI</description>  
</property>  
</configuration>

图4.4 core-site.xml文件配置
(7)修改hdfs-site.xml文件配置
修改内容如图4.5所示。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:9000/</value>  
    <description>NameNode URI</description>  
</property>  
</configuration>

图4.5 hdfs-site.xml文件配置
(8)修改yarn-site.xml文件配置
修改内容如图4.6所示。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:9000/</value>  
    <description>NameNode URI</description>  
</property>  
</configuration>

图4.6 yarn-site.xml文件配置
(9)修改mapred-site.xml文件配置
修改内容如图4.7所示。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:9000/</value>  
    <description>NameNode URI</description>  
</property>  
</configuration>

图4.7 mapred-site.xml文件配置
(10)修改hadoop文件下slaves文件
覆盖写入主节点映射名和从节点映射名：
master
slave1
slave2
(11)创建公钥，拷贝公钥
使用命令ssh-keygen出现提出项默认回车即可，拷贝公钥：
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
测试连接是否正常,ssh master，输入exit退出测试;ssh slave1，输入exit退出测试;
ssh slave2输入exit退出测试，测试中可以看出，不用输入密码即可连接各节点。
(12)拷贝文件到所有从节点
Scp -r /opt/java/ /opt/hadoop/ slave1:/tmp/
Scp -r /opt/java/ /opt/hadoop/ slave2:/tmp/
至此，主节点配置完成。在从节点中，同样需要安装Java和Hadoop，并且创建公钥。
(13)格式化分布式文件系统
在Hadoop主节点执行：/opt/hadoop/bin/hadoop namenode -format
(14)启动Hadoop
在Hadoop主节点执行：/opt/hadoop/sbin/start-all.sh
在这一切搭建完毕并启动Hadoop后，输入JPS命令查看目前进程，在主节点包含JPS、NameNode、DataNode、NodeManager、ResourceManager、SecondaryNamenode进程。在从节点中，包含DataNode、JPS、NodeManage进程。