Hadoop集群部署（三个节点）

一、搭建Hadoop3.X

1.1 配置服务器

1个主节点：centos100(192.168.65.128)，

2个（从）子节点：centos101(192.168.65.129)，centos102(192.168.65.130)

1.2 配置主节点名

192.168.65.128    vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=centos100

1.3 配置两台子节点名

192.168.65.129   vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=centos101

 

192.168.65.130   vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=centos102

 

1.4 配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

 

vi /etc/hosts

添加内容：

192.168.65.128 centos100

192.168.65.129 centos101

192.168.65.130 centos102

 

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts root@192.168.65.129:/etc/

scp /etc/hosts root@192.168.65.130:/etc/

 

然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostsname hostsname

例如：master上执行 /bin/hostsname master，使之生效。

1.5 配置ssh无密码访问

1.5.1生成公钥密钥对

1、在每个节点上分别执行：

ssh-keygen -t rsa

一直按回车直到生成结束

执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub

其中前者为私钥，后者为公钥

 

 

2、在主节点上执行：

cp id_rsa.pub authorized_keys

1.5.2 生成authorized_keys

这里的配置方式可以有多种操作步骤，本次选择在主节点上生成authorized_keys，其最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。

 

1、将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：

scp /root/.ssh/id_rsa.pub root@centos128:/root/.ssh/id_rsa_centos101.pub

scp /root/.ssh/id_rsa.pub root@centos128:/root/.ssh/id_rsa_centos102.pub

 

2、然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去

主节点上执行：

cat id_rsa_centos101.pub>> authorized_keys

cat id_rsa_centos102.pub>> authorized_keys

 

3、最后测试是否配置成功

在centos100上分别执行

ssh centos101

ssh centos102

 

能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

1.5.3 复制authorized_keys

主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

scp authorized_keys root@centos101:/root/.ssh/

scp authorized_keys root@centos102:/root/.ssh/

1.6 安装jdk

1.6.1 卸载jdk

1、查看系统已经装的jdk：

rpm -qa|grep jdk

 

2、卸载jdk:

rpm -e --nodeps copy-jdk-configs-3.3-2.el7.noarch

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64

1.6.2 安装JDK

三台机器都要安装

 

1、创建目录

cd /

cd /opt/

mkdir java

cd java

rz

 

2、下载JDK

 

3、解压JDK ： tar -zxvf jdk-8u73-linux-x64.gz

 

4、配置环境变量

vi /etc/profile

在profile文件末尾添加以下代码:

export JAVA_HOME=/opt/java/jdk1.8.0_73

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

 

5、环境变量生效：

source /etc/profile

 

6、测试是否安装成功：java –version

1.7 安装hadoop

在master主机上安装hadoop

安装位置自定，例如安装在/usr/tools目录下面

 

1、下载hadoop包，放在/usr/tools目录下

 

2、解压hadoop

tar -zxvf hadoop-3.0.0tar.gz

在usr下面生成hadoop-3.0.0目录

 

3、配置环境变量：

vi /etc/profile

在末尾添加：

export HADOOP_HOME=/usr/tools/hadoop-3.0.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、环境变量生效：

source /etc/profile

1.8 配置hadoop

1.8.1配置hadoop配置文件

需要配置的文件的位置为/hadoop-3.0.0/etc/hadoop，需要修改的有以下几个

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

workers

其中

hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量：

1、hadoop-env.sh中添加：

export JAVA_HOME=/opt/java/jdk1.8.0_73

2、yarn-env.sh中（Hadoop3.X版本无需配置这个）

export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"

 

export JAVA_HOME=/opt/java/jdk1.8.0_73

 

3、core-site.xml中

<configuration>

         <property>

                   <name>fs.defaultFS</name>

                   <value>hdfs://centos100:9000</value>

         </property>

         <property>

                   <name>io.file.buffer.size</name>

                   <value>131072</value>

         </property>

         <property>

                  <name>hadoop.tmp.dir</name>

                   <value>file:/usr/temp</value>

         </property>

         <property>

                   <name>hadoop.proxyuser.root.hosts</name>

                   <value>*</value>

         </property>

         <property>

                   <name>hadoop.proxyuser.root.groups</name>

                   <value>*</value>

         </property>

</configuration>

 

4、hdfs-site.xml中

<configuration>

         <property>

                   <name>dfs.namenode.secondary.http-address</name>

                   <value>master:9001</value>

         </property>

         <property>

                   <name>dfs.namenode.name.dir</name>

                   <value>file:/usr/dfs/name</value>

         </property>

         <property>

                   <name>dfs.datanode.data.dir</name>

                   <value>file:/usr/dfs/data</value>

         </property>

 

         <property>

                   <name>dfs.replication</name>

                   <value>2</value>

         </property>

         <property>

                   <name>dfs.webhdfs.enabled</name>

                   <value>true</value>

         </property>

         <property>

                   <name>dfs.permissions</name>

                   <value>false</value>

         </property>

         <property>

                   <name>dfs.web.ugi</name>

                   <value>supergroup</value>

         </property>

</configuration>

 

5、mapred-site.xml中先cp mapred-site.xml.template mapred-site.xml

<configuration>

         <property>

                   <name>mapreduce.framework.name</name>

                   <value>yarn</value>

         </property>

         <property>

                   <name>mapreduce.jobhistory.address</name>

                   <value>centos100:10020</value>

         </property>

         <property>

                   <name>mapreduce.jobhistory.webapp.address</name>

                   <value>centos100:19888</value>

         </property>

</configuration>

 

6、yarn-site.xml中

<configuration>

         <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

         </property>

         <property>

                   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.address</name>

                   <value>centos100:8032</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.scheduler.address</name>

                   <value>centos100:8030</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.resource-tracker.address</name>

                   <value>centos100:8031</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.admin.address</name>

                   <value>centos100:8033</value>

         </property>

         <property>

                   <name>yarn.resourcemanager.webapp.address</name>

                   <value>centos100:8088</value>

         </property>

</configuration>

 

7、workers中

centos100

centos101

centos102

1.8.2 拷贝hadoop安装文件到子节点

主节点上执行：

scp -r /usr/tools/hadoop-3.0.0 root@centos101:/usr/tools

scp -r /usr/tools/hadoop-3.0.0 root@centos102:/usr/tools

 

拷贝profile到子节点

主节点上执行：

scp /etc/profile root@centos101:/etc/

scp /etc/profile root@centos102:/etc/

在两个子节点上分别使新的profile生效：

source /etc/profile

1.8.3 格式化主节点的namenode

主节点上进入hadoop-3.0.0目录

 

然后执行：

./bin/hadoop namenode -format

新版本用下面的语句不用hadoop命令了

./bin/hdfs namenode -format

提示：successfully formatted表示格式化成功

1.8.4 启动hadoop

主节点上在hadoop-3.0.0目录下执行：

./sbin/start-all.sh

 

主节点上jps进程有：6个

DataNode

Jps

SecondaryNameNode

NameNode

ResourceManager

NodeManager

 

每个子节点上的jps进程有：3个

Jps

DataNode

NodeManager

如果这样表示hadoop集群配置成功