Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务

（3）修改 core-site.xml 文件

在配置文件中添加如下信息

fs.defaultFS

hdfs://hadoop01:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/usr/hadoop/tmp

（4）修改 hdfs-site.xml 文件

在配置文件中添加如下信息

dfs.namenode.name.dir

file:/usr/hadoop/dfs/name

dfs.namenode.data.dir

file:/usr/hadoop/dfs/data

dfs.replication

2

（5）修改 mapred-site.xml 文件

该文件时默认不存在的，需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来

然后添加如下信息（hadoop01是主节点的主机名）

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hadoop01:10020

mapreduce.jobhistory.webapp.address

hadoop01:19888

（6）修改 yarn-site.xml 文件

hadoop01是主节点的主机名

yarn.resourcemanager.address

hadoop01:8032

yarn.resourcemanager.scheduler.address

hadoop01:8030

yarn.resourcemanager.resource-tracker.address

hadoop01:8031

yarn.resourcemanager.admin.address

hadoop01:8033

yarn.resourcemanager.webapp.address

hadoop01:8088

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

（7）修改 masters 文件

这个文件没有的，需要创建编写，指令 vi masters

写主节点的IP地址或者主机名都可以

（8）修改 slaves 文件

这里写子节点的配置信息，IP地址或者主机名都可以，最好跟（7）一致

（9）拷贝给子节点

将配置好的配置文件的文件夹发给其他节点

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/

[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

（10）创建目录（主节点操作）

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

（11）赋予权限

//添加用户组

[root@hadoop01 hadoop]# groupadd hadoop

[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false

//赋予权限

[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

（12）将/usr/hadoop拷贝给子节点

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

（13）配置变量（全部子节点，主节点不用）

修改/etc/profile配置文件，在文件尾部添加如下信息，指令 vi  /etc/profile

#set hadoop environment

export HADOOP_HOME=/usr/hadoop

export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

添加完之后，输入指令使配置文件生效（全部都要）

[root@hadoop01 hadoop]# source /etc/profile

（14）权限

全部子节点按 (11) 操作赋予权限

（15）格式化（主节点上）

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
…(img-C314qzPl-1715622007283)]

[外链图片转存中…(img-B6QeHWtL-1715622007284)]

[外链图片转存中…(img-RFdR9gLi-1715622007285)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！