Hadoop完全分布式搭建

主机设置

三台主机关闭防火墙

三台主机关闭SeLinux安全机制 

给每台主机修改主机名 

配置三台主机地址映射

设置免密登录

安装JDK

解压安装

配置jdk的环境变量 

 测试安装成功

分发JDK  

安装配置 Hadoop 

解压安装

Hadoop环境配置文件 - hadoop-env.sh 

修改Hadoop配置文件core-site.xml

HDFS 配置文件hdfs-site.xml

YARN 配置文件yarn-site.xml

 MapReduce 配置文件vim mapred-site.xml

配置worekers

进行初始化

主机设置

三台主机关闭防火墙

#关闭服务
systemctl stop firewalld
#关闭开机自启动
systemctl disable firewalld

三台主机关闭SeLinux安全机制 

vim /etc/sysconfig/selinux

 将enforcing改为disabled

给每台主机修改主机名 

        分别修改为master、slave1、slave2

hostnamectl set-hostname 主机名

配置三台主机地址映射

vim /etc/hosts

 设置免密登录

cd /root/.ssh

        master免密登录master、slave1和slave2

生成秘钥对 

ssh-keygen -t rsa

        输入连敲3次回车

拷贝三台主机公钥 

ssh-copy-id root@主机名

免密登录

#登录
ssh 主机名
#登出
exit

安装JDK

解压安装

        解压安装包到opt目录下

tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/

        修改目录名 

mv jdk1.8.0_162 jdk1.8

 

配置jdk的环境变量 

vim /etc/profile

export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

保存配置 

source /etc/profile

 测试安装成功

java -version

分发JDK  

scp -r /opt/module/jdk/ root@slave1:/opt/module/
scp -r /opt/module/jdk/ root@slave2:/opt/module/

scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc

安装配置 Hadoop 

hadoop官方下载：Apache Hadoop 

解压安装

        解压安装包到opt目录下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt

        添加hadoop环境变量 

vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

        注意：另外两台主机也要进行相应的环境变量设置

 保存配置环境

source /etc/profile

在Hadoop目录下创建logs目录 

mkdir logs

 测试安装成功

hadoop version

Hadoop环境配置文件 - hadoop-env.sh 

cd $HADOOP_HOME/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改Hadoop配置文件core-site.xml

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

        写入如下内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/tmp</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

HDFS 配置文件hdfs-site.xml

vim hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop-3.1.3/tmp/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop-3.1.3/tmp/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

YARN 配置文件yarn-site.xml

vim yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

 MapReduce 配置文件vim mapred-site.xml

vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置worekers

vim workers

master
slave1
slave2

分发配置好的Hadoop

scp -r $HADOOP_HOME root@slave1:/opt
scp -r $HADOOP_HOME root@slave2:/opt

进行初始化

hdfs namenode -format

        使用启动命令启动hadoop 

start-all.sh

 主节点进程：

从节点进程：