Hadoop2.6.0完全分布式安装部署

jdk1.8和hadoop2.6.0下载链接【链接：https://pan.baidu.com/s/1SZ18D7yqtx57z2DKSATuKQ 提取码：lhn7 】

所有操作均在root用户下进行

修改每个节点的主机名

# vi /etc/hostname

在三个节点修改配置hosts文件

在hosts文件中分别配置三个节点的主机名 ip地址映射

# vi /etc/hosts

在文件中添加

X.X.X.X	master
X.X.X.X	slave1
X.X.X.X	slave2

在master和slave之间配置SSH互信

在所有节点创建

# ssh-keygen -t rsa -P ''

在master输入下面的命令，和master，slave1，slave2创建互信

# ssh-copy-id master
# ssh-copy-id slave1
# ssh-copy-id slave2

在三个节点下面配置jdk

解压jdk-8u191-linux-x64.tar.gz，指定到/opt/apps

# tar -zxf jdk-8u191-linux-x64.tar.gz -C /opt/apps

为解压后的文件夹重命名

# mv jdk1.8.0_191 jdk

分别在三个节点修改环境变量

# vi ~/.bashrc

在文件末尾添加

export JAVA_HOME=/opt/apps/jdk
export PATH=$JAVA_HOME/bin:$PATH

文件生效

# source ~/.bashrc

检查jdk版本

# java -version

Hadoop安装配置

解压hadoop-2.6.0-cdh5.9.0.tar.gz，指定到/opt/apps

# tar -zxf hadoop-2.6.0.tar.gz -C /opt/apps

为解压后的文件夹重命名

# mv hadoop-2.6.0 hadoop

在master上配置环境变量

# vi ~/.bashrc

在文件末尾添加

export HADOOP_HOME=/opt/apps/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

文件生效

# source ~/.bashrc

在hadoop/etc/hadoop/中修改以下文件

修改配置文件 hadoop-env.sh
在文件末尾添加

export JAVA_HOME=/opt/apps/jdk
export HADOOP_PERFIX=/opt/apps/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/native"

修改配置文件 core-site.xml
在<configuration> </configuration>中添加

<property>
	<name>fs.defaultFS</name>
	 <value>hdfs://master:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/apps/hadoop/tmp</value>
</property>

修改配置文件 hdfs-site.xml
在<configuration> </configuration>中添加

<property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/apps/hadoop/tmp/dfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/apps/hadoop/tmp/dfs/data</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

修改配置文件mapred-site.xml
将mapred-site.xml.template复制为mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

在<configuration> </configuration>中添加

<property>
        <name>mapreduce.farmework.name</name>
        <value>yarn</value>
</property>

修改配置文件yarn-site.xml
在<configuration> </configuration>中添加

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>

配置slave节点

# vi slaves
slave1
slave2

将配置好的hadoop文件分发到其他slave机器上

# scp -r hadoop/ root@slave1:/opt/apps
# scp -r hadoop/ root@slave2: /opt/apps

关闭防火墙

一定要关闭防火墙，不然会造成节点之间无法通信

防护墙状态

# systemctl status firewalld

关闭防火墙

# systemctl stop firewalld.service

关闭防火墙自启

# systemctl disable firewalld.service

格式化HDFS

# hdfs namenode -format

启动

# start-all.sh				//启动集群
# stop-all.sh				//停止集群

jps查看进程 master上存在 NameNode、ResourceManager、SecondaryNameNode进程
slave1和slave2上存在 DataNode、NodeManager进程

进程正常可以在浏览器中输入http://master(IP):50070查看Hadoop状态

可以在浏览器中输入http://master(IP):8088查看mapreduce状态