集群配置
可以将服务分别去配置在多台服务器上面以hadoop105,hadoop106,Hadoop107为案例
组件 | hadoop105 | hadoop106 | hadoop107 |
---|---|---|---|
HDFS | NameNode、DataNode | DataNode | SecondaryNameNode、DataNode |
YARN | NodeManager | ResourceManager、NodeManager | NodeManager |
NAMENODE职责
NAMENODE职责:
负责客户端请求的响应
元数据的管理(查询,修改)
是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
SecondaryNameNode
从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.
默认在安装在NameNode节点上,但这样…不安全!
DATANODE
存储管理用户的文件块数据
定期向namenode汇报自身所持有的block信息(通过心跳信息上报)
(这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)
注意:
- NameNode 和 SecondaryNameNode 不要安装在同一台服务器。
- ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上。
需要配置4个配置文件
要获取的默认文件 | 文件存放在Hadoop的jar包中的位置 | 解释说明 |
---|---|---|
core-default.xml | hadoop-common-3.1.3.jar/core-default.xml | Hadoop的全局配置文件,配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置。配置 HDFS 网页登录使用的静态用户 |
[hdfs-default.xml] | hadoop-hdfs-3.1.3.jar/hdfs-default.xml | 配置HDFS文件系统属性配置。nn web 端访问地址,2nn web 端访问地址 |
[yarn-default.xml] | hadoop-yarn-common-3.1.3.jar/yarn-default.xml | 配置YARN的相关参数 |
[mapred-default.xml] | hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml | MapReduce的运行框架为YARN. |
配置文件的路径
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。
案例路径:
/opt/module/hadoop-3.1.3/etc/hadoop
配置 core-site.xml
[tedu@hadoop105 hadoop]$sudo vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml