hadoop集群部署

一、集群部署规划

	s201	s201	s201
HDFS	DataNode NameNode	DataNode	DataNode SecondaryNameNode
YARN	ResourceManger NodeManger	NodeManger	NodeManger

二、配置IP映射

1.配置IP映射

vim /etc/hostname 修改主机名
vim /etc/hosts 修改映射文件

192.168.5.130 s201
192.168.5.131 s202
192.168.5.132 s203

2.修改静态IP

cd /etc/sysconfig/network-scripts/

BOOTPROTO="static"
IPADDR="192.168.5.201"
GATEWAY="255.255.255.0"
DNS1="192.168.5.2"

三、配置免密登录

运行 ssh-keygen

ssh-copy-id s201
ssh-copy-id s202
ssh-copy-id s203

ssh s202 测试下

四、关闭防火墙

systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

五、安装JDK

略

六、安装hadoop

1.解压

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/

2.配置环境变量

vim /etc/profile
添加以下内容

export HADOOP_HOME=/usr/local/hadoop-2.7.7/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.修改配置文件（重点）

（1）核心配置文件
core-site.xml
配置namenade

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://s201:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.7.7/data/tmp</value>
</property>

（2）配置HDFS
hadoop-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

hdfs-site.xml 配置secondarynamenode

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>s203:50090</value>
</property>

（3）配置YARN
yarn-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

yarn-site.xml 混洗方式和配置resourcemanager

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>s201</value>
</property>

（4）配置MR
mapred-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_291

cp mapred-site.xml.template mapred-site.xml
配置MR运行模式为yarn模式（还有本地模式local）

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- 历史服务器 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>s201:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>s201:19888</value>
</property>

（5）配置从节点
vim slaves

s201
s202
s203

4.格式化并启动

格式化

hdfs namenode -format

启动集群

start-dfs.sh
start-yarn.sh
#启动历史服务器
mr-jobhistory-daemon.sh start historyserver

停止集群

stop-dfs.sh
stop-yarn.sh

5.集群测试

192.168.5.130:5007 集群访问地址

新建文件夹

hdfs dfs -mkdir -p /user/input

上传文件

hdfs dfs -put /root/a.txt /user/input

删除

hdfs dfs -rmr /user/imput

---