1. 运行环境
2. 各节点角色分配
服务名称 |
子服务 |
服务器 |
服务器 |
服务器 |
|
|
hadoop101 |
hadoop102 |
hadoop103 |
HDFS |
NameNode |
√ |
|
|
DataNode |
√ |
√ |
√ |
SecondaryNameNode |
|
|
√ |
Yarn |
NodeManager |
√ |
√ |
√ |
ResourceManager |
|
√ |
|
3. 集群配置清单
以下配置文件均在hadoop根目录下的 /etc/hadoop/
内
配置文件 |
作用描述 |
hadoop-env.sh |
配置hadoop运行所需的JDK环境变量 |
hdfs-site.xml |
配置HDFS中NameNode和DataNode的保存目录,以及后者的存储块副本数 |
mapred-site.xml |
配置mapreduce的运行框架,默认为local |
yarn-site.xml |
指定yarn的ResourceManager节点,设置yarn运行的日志保存目录及保存时间 |
core-site.xml |
设置hadoop缓存目录以及默认的HDFS地址 |
workers |
设置集群里所有节点的主机名 |
4. 具体配置
4.1 hadoop-env.sh
export JAVA_HOME=/opt/java/jdk8
4.2 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/module/hadoop/namenode_dir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/module/hadoop/datanode_dir</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop101:9870</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>