hadoop集群部署

一、集群部署规划

s201s201s201
HDFSDataNode NameNodeDataNodeDataNode SecondaryNameNode
YARNResourceManger NodeMangerNodeMangerNodeManger

二、配置IP映射

1.配置IP映射

vim /etc/hostname 修改主机名
vim /etc/hosts 修改映射文件

192.168.5.130 s201
192.168.5.131 s202
192.168.5.132 s203

2.修改静态IP

cd /etc/sysconfig/network-scripts/

BOOTPROTO="static"
IPADDR="192.168.5.201"
GATEWAY="255.255.255.0"
DNS1="192.168.5.2"

三、配置免密登录

运行 ssh-keygen

ssh-copy-id s201
ssh-copy-id s202
ssh-copy-id s203

ssh s202 测试下

四、关闭防火墙

systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

五、安装JDK

六、安装hadoop

1.解压

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/

2.配置环境变量

vim /etc/profile
添加以下内容

export HADOOP_HOME=/usr/local/hadoop-2.7.7/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.修改配置文件(重点)

(1)核心配置文件
core-site.xml
配置namenade

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://s201:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.7.7/data/tmp</value>
</property>

(2)配置HDFS
hadoop-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

hdfs-site.xml 配置secondarynamenode

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>s203:50090</value>
</property>

(3)配置YARN
yarn-env.sh 运行环境

export JAVA_HOME=/usr/local/jdk1.8.0_291

yarn-site.xml 混洗方式和配置resourcemanager

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>s201</value>
</property>

(4)配置MR
mapred-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_291

cp mapred-site.xml.template mapred-site.xml
配置MR运行模式为yarn模式(还有本地模式local)

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- 历史服务器 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>s201:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>s201:19888</value>
</property>

(5)配置从节点
vim slaves

s201
s202
s203

4.格式化并启动

格式化

hdfs namenode -format

启动集群

start-dfs.sh
start-yarn.sh
#启动历史服务器
mr-jobhistory-daemon.sh start historyserver

停止集群

stop-dfs.sh
stop-yarn.sh

5.集群测试

192.168.5.130:5007 集群访问地址

新建文件夹

hdfs dfs -mkdir -p /user/input

上传文件

hdfs dfs -put /root/a.txt /user/input

删除

hdfs dfs -rmr /user/imput

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醉卧千山下,诗酒趁年华。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值