Hadoop 是一个分布式计算框架，常用于处理大规模数据。下面是
Hadoop 的
配置和
Hadoop HA 的
配置说明：
1.
Hadoop 配置：
Hadoop 的
配置文件一般位于 $
HADOOP_HOME/etc/
hadoop 目录下，包括以下几个文件：
- core-site.xml：
配置 Hadoop 核心功能相关的参数，如
Hadoop 集群的名称、H
DFS 的默认文件系统等。
- h
dfs-site.xml：
配置 H
DFS 相关的参数，如数据块大小、副本数量等。
- mapred-site.xml：
配置 MapReduce 相关的参数，如 JobTracker 的地址、TaskTracker 的数量等。
- yarn-site.xml：
配置 YARN 相关的参数，如 ResourceManager 的地址、NodeManager 的数量等。
其中，core-site.xml 和 h
dfs-site.xml 是必须的，而 mapred-site.xml 和 yarn-site.xml 可以根据需要进行
配置。
2.
Hadoop HA 配置：
Hadoop HA（高可用）是指在
Hadoop 集群中实现 NameNode 的高可用性，以保证在 NameNode 发生故障时能够快速切换到另一个活动的 NameNode。
Hadoop HA 的
配置包括以下几个步骤：
-
配置 Hadoop 的 core-site.xml 文件，增加以下两行
配置：
```
<property>
<name>fs.defaultFS</name>
<value>h
dfs://nameservice1</value>
</property>
<property>
<name>
ha.zookeeper.quorum</name>
<value>zk1:2181,zk2:2181,zk3:2181</value>
</property>
```
其中，fs.defaultFS 指定了 H
DFS 的默认文件系统，nameservice1 是 H
DFS 的名称服务，需要在 h
dfs-site.xml 文件中进行
配置；
ha.zookeeper.quorum 指定了 ZooKeeper 集群的地址，用于实现 NameNode 的选举和状态共享。
-
配置 h
dfs-site.xml 文件，增加以下几行
配置：
```
<property>
<name>
dfs.nameservices</name>
<value>nameservice1</value>
</property>
<property>
<name>
dfs.
ha.namenodes.nameservice1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>
dfs.namenode.rpc-address.nameservice1.nn1</name>
<value>nn1:8020</value>
</property>
<property>
<name>
dfs.namenode.rpc-address.nameservice1.nn2</name>
<value>nn2:8020</value>
</property>
<property>
<name>
dfs.namenode.http-address.nameservice1.nn1</name>
<value>nn1:50070</value>
</property>
<property>
<name>
dfs.namenode.http-address.nameservice1.nn2</name>
<value>nn2:50070</value>
</property>
<property>
<name>
dfs.client.failover.proxy.provider.nameservice1</name>
<value>org.apache.
hadoop.h
dfs.server.namenode.
ha.ConfiguredFailoverProxyProvider</value>
</property>
```
其中，
dfs.nameservices 指定了 H
DFS 的名称服务；
dfs.
ha.namenodes.nameservice1 指定了 NameNode 的名称，nn1 和 nn2 分别代表了两个 NameNode；
dfs.namenode.rpc-address.nameservice1.nn1 和
dfs.namenode.rpc-address.nameservice1.nn2 分别指定了两个 NameNode 的 RPC 地址；
dfs.namenode.http-address.nameservice1.nn1 和
dfs.namenode.http-address.nameservice1.nn2 分别指定了两个 NameNode 的 HTTP 地址；
dfs.client.failover.proxy.provider.nameservice1 指定了客户端故障转移的方式。
-
配置 mapred-site.xml 文件或 yarn-site.xml 文件，增加以下一行
配置：
```
<property>
<name>mapreduce.jobhistory.address</name>
<value>
hadoop1:10020</value>
</property>
```
其中，mapreduce.jobhistory.address 指定了 JobHistoryServer 的地址。
配置完成后，启动
Hadoop 集群，并在两个节点上启动 NameNode。在启动过程中，
Hadoop 会自动进行选举，选出一个活动的 NameNode 和一个备用的 NameNode，以实现 NameNode 的高可用性。
最低0.47元/天 解锁文章
439
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
