centos 7源码包安装hadoop（高级版）

1.1安装hadoopr

提要

系统版本：CentOS Linux release 7.6.1810 (Core) 
IP地址：
master：192.168.0.250
slave1：192.168.0.251
slave2：192.168.0.252

1.1.1关闭防火墙和selinux
关闭selinux 最好两个selinux配置文件都关闭（三台机器都执行）

vim /etc/selinux/config 
SELINUX=disabled     
vim /etc/sysconfig/selinux 
SELINUX=disabled

systemctl stop firewalld
systemctl disable firewalld
reboot  重启
sestatus 开机后查看selinux状态是否为disabled

1.1.2修改主机名

1、（master执行）
hostnamectl set-hostname master  
bash
2、（slave1执行）
hostnamectl set-hostname slave1
bash
3、（slave2执行）
hostnamectl set-hostname slave2
bash

4、三个节点的ip地址以及其对应的名称写进hosts文件。这里我们设置为master、slave1、slave2。注意保存退出。（三台机器都执行）
vim /etc/hosts
192.168.0.250 master
192.168.0.251 slave1
192.168.0.252 slave2

1.1.2时间同步

1、选择时区：tzselect  （三台机器都执行）

2、下载ntp（三台机器都执行）
yum install -y ntp

3、master作为ntp服务器，修改ntp配置文件。（master上执行）
vim /etc/ntp.conf
server  127.127.1.0               # local clock
fudge   127.127.1.0   stratum 10   #stratum设置为其它值也是可以的，其范围为0~15

server #注释

4、重启ntp服务。(master上执行)
systemctl restart ntpd.service

5、其他机器进行同步（在slave1，slave2中执行）
ntpdate master 

1.1.3配置ssh免密

1、在master上执行如下命令生成公私密钥：（注意master上执行）
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2、然后将master公钥id_dsa复制到slave1进行公钥认证。
ssh-copy-id -i /root/.ssh/id_dsa.pub slave1

退出连接：exit

同理可以将master公钥复制到master、slave2进行公钥认证。
ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh-copy-id -i /root/.ssh/id_dsa.pub slave2

master到slave1、slave2的免密。如果想配置其他免密，其命令类似。

2.1安装JDK

先在master上操作，然后远程复制到slave1和slave2
首先在根目录下建立工作路径/usr/java
mkdir -p /usr/java
进入创建的java工作路径
cd /usr/java
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/（在master执行）

修改环境变量：vim /etc/profile（在master执行）
添加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

生效环境变量：source /etc/profile（在master执行）
查看java版本：java  -version（在master执行）
 

在master中将JDK复制到slave1和slave2中。（在master执行）
scp -r /usr/java root@slave1:/usr/
scp -r /usr/java root@slave2:/usr/

3.1安装hdoop
3.1.1解压安装包，配置环境变量

1.下载hadoop压缩包，创建对应工作目录/usr/hadoop，解压hadoop到相应目录。
mkdir -p /usr/hadoop
cd /usr/hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/

2.添加hadoop环境变量（三台机器执行）
vim /etc/profile
添加如下内容：
#HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
 
使用以下命令使profile生效：
source /etc/profile

3.2 配置hadoop各组件

hadoop的各个组件的都是使用XML进行配置，这些文件存放在hadoop的etc/hadoop目录下。
1. 进入hadoop配置目录，编辑hadoop-env.sh环境配置文件。
cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh
输入以下内容，修改java环境变量：
export JAVA_HOME=/usr/java/jdk1.8.0_171
键入“Esc”,退出编辑模式，使用命令“：wq”进行保存退出。

2.编辑core-site.xml文件。
vim core-site.xml

<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>

master：在主节点的ip或者映射名。
9000：主节点和从节点配置的端口都是9000。
 
同样注意保存退出。

3. 编辑mapred-site.xml。hadoop是没有这个文件的，需要将mapred-site.xml.template样本文件复制为mapred-site.xml，对其进行编辑：
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
 
在<configuration></configuration>中加入以下代码：
<property>
<!--指定Mapreduce运行在yarn上-->
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
注意保存退出。

4.修改yarn-site.xml。
在<configuration></configuration>中加入以下代码：
<!-- 指定ResourceManager的地址-->
<property>
 <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
 </property>
<!-- 指定reducer获取数据的方式-->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

<!-- Site specific YARN configuration properties -->
 
注意保存退出。

5. 编辑hdfs-site.xml配置文件。
在<configuration></configuration>中加入以下代码：
<property>
 <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>master:9001</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>

dfs.replication：因为hadoop是具有可靠性的，它会备份多个文本，这里value就是指备份的数量（小于等于从节点的数量）。
 
注意保存退出。

6.编写slave文件,添加子节点slave1和slave2。
	vi slaves
 

编写master文件，这里添加主节点master。如果没有此文件，可以直接添加。
	vi master

7.分发hadoop文件到slave1、slave2两个子节点：
scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

 

注意：
slave各节点上还需要配置环境变量，参考hadoop中第一个步骤。

8.在master中格式化hadoop，开启hadoop。(仅在master中进行操作)
格式化namenode：hadoop namenode -format
 
当出现“Exiting with status 0”的时候，表明格式化成功。

9.主节点格式化成功之后，就可以在主节点中开启hadoop集群。仅在master主机上开启操作命令。它会带起从节点的启动。（仅在master中进行操作）
回到hadoop目录：cd /usr/hadoop/hadoop-2.7.3
主节点开启服务：sbin/start-all.sh
	jsp

master主节点状态如下：

在这里插入图片描述

slave1节点状态如下： 

slave2节点状态如下：

11.使用hadoop命令“hadoop fs”进行相关操作。