Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务

file:/usr/hadoop/dfs/name

dfs.namenode.data.dir

file:/usr/hadoop/dfs/data

dfs.replication

2

（5）修改 mapred-site.xml 文件

该文件时默认不存在的，需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来

然后添加如下信息（hadoop01是主节点的主机名）

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hadoop01:10020

mapreduce.jobhistory.webapp.address

hadoop01:19888

（6）修改 yarn-site.xml 文件

hadoop01是主节点的主机名

yarn.resourcemanager.address

hadoop01:8032

yarn.resourcemanager.scheduler.address

hadoop01:8030

yarn.resourcemanager.resource-tracker.address

hadoop01:8031

yarn.resourcemanager.admin.address

hadoop01:8033

yarn.resourcemanager.webapp.address

hadoop01:8088

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

（7）修改 masters 文件

这个文件没有的，需要创建编写，指令 vi masters

写主节点的IP地址或者主机名都可以

（8）修改 slaves 文件

这里写子节点的配置信息，IP地址或者主机名都可以，最好跟（7）一致

（9）拷贝给子节点

将配置好的配置文件的文件夹发给其他节点

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/

[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

（10）创建目录（主节点操作）

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

（11）赋予权限

//添加用户组

[root@hadoop01 hadoop]# groupadd hadoop

[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false

//赋予权限

[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

（12）将/usr/hadoop拷贝给子节点

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

（13）配置变量（全部子节点，主节点不用）

修改/etc/profile配置文件，在文件尾部添加如下信息，指令 vi  /etc/profile

#set hadoop environment

export HADOOP_HOME=/usr/hadoop

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

添加完之后，输入指令使配置文件生效（全部都要）

[root@hadoop01 hadoop]# source /etc/profile

（14）权限

全部子节点按 (11) 操作赋予权限

（15）格式化（主节点上）

[root@hadoop01 hadoop]# hadoop namenode -format

出现 successfully 就说明成功了，否则的会提示报错

（16）启动集群（主节点上）

start-all.sh是一键启动的指令（必须要求互相之间能够免密登陆）

[root@hadoop01 hadoop]# start-all.sh

（17）查看节点状态

可以输入 jps 查看虚拟机的状态（只能看自己的）

输入 hdfs dfsadmin -report 可以查看所有节点的信息

同时我们还可以在windows浏览器上查看界面

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

总结：

各行各样都会淘汰一些能力差的，不仅仅是IT这个行业，所以，不要被程序猿是吃青春饭等等这类话题所吓倒，也不要觉得，找到一份工作，就享受安逸的生活，你在安逸的同时，别人正在奋力的向前跑，这样与别人的差距也就会越来越遥远，加油，希望，我们每一个人，成为更好的自己。

• BAT大厂面试题、独家面试工具包,

• 资料包括 数据结构、Kotlin、计算机网络、Framework源码、数据结构与算法、小程序、NDK、Flutter，

  
  

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

会淘汰一些能力差的，不仅仅是IT这个行业，所以，不要被程序猿是吃青春饭等等这类话题所吓倒，也不要觉得，找到一份工作，就享受安逸的生活，你在安逸的同时，别人正在奋力的向前跑，这样与别人的差距也就会越来越遥远，加油，希望，我们每一个人，成为更好的自己。

• BAT大厂面试题、独家面试工具包,

• 资料包括 数据结构、Kotlin、计算机网络、Framework源码、数据结构与算法、小程序、NDK、Flutter，

  [外链图片转存中…(img-5SzuGQo5-1712277234655)]
  [外链图片转存中…(img-UPE0rpe6-1712277234655)]

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！