Hadoop分布式配置

阿飞学弟

于 2022-07-18 10:29:01 发布

阅读量520

点赞数

分类专栏： # hadoop 文章标签：大数据 hadoop

原文链接：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

版权

hadoop 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

1、确保三台机器联网互通

2、三个节点的名称与对应的 IP 关系如下：

        10.191.0.120   master02
10.191.0.121   worker01
10.191.0.122   worker02

3、测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功。

4、SSH无密码登陆节点

首先生成 master02 节点的公匙，在 master02 节点的终端中执行：

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

让 master02 节点需无密码 SSH 本机，在 master02 节点上执行：

cat ./id_rsa.pub >> ./authorized_keys

接着在 master02 节点将上公匙传输到 worker01、worker02 节点：

scp ~/.ssh/id_rsa.pub root@IP:地址
scp ~/.ssh/id_rsa.pub root@IP:地址

将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

注：如果有其他 Slave 节点，也要执行将 master02 公匙传输到其他 Slave 节点、在 Slave 节点上加入授权这两步。

5、修改配置文件

配置集群/分布式环境（集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。）

文件 slaves改为如下配置：

worker01
worker02

文件 core-site.xml 改为下面的配置：

<configuration>
			<property>
					<name>fs.defaultFS</name>
					<value>hdfs://master02:9000</value>
			</property>
			<property>
					<name>hadoop.tmp.dir</name>
					<value>file:/usr/local/hadoop/tmp</value>
					<description>Abase for other temporary directories.</description>
			</property>
		</configuration>

文件 hdfs-site.xml 改为下面的配置：

<configuration>
			<property>
						<name>dfs.namenode.secondary.http-address</name>
						<value>master02:50090</value>
				</property>
			<property>
					<name>dfs.replication</name>
					<value>1</value>
				</property>
				<property>
					<name>dfs.namenode.name.dir</name>
					<value>file:/cjhx/appsoft/hadoop/hadoop-2.7.5/tmp/dfs/name</value>
				</property>
				<property>
					<name>dfs.datanode.data.dir</name>
					<value>file:/cjhx/appsoft/hadoop/hadoop-2.7.5/tmp/dfs/data</value>
				</property>
		</configuration>

文件 mapred-site.xml 改为下面的配置：

<configuration>
			<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
			</property>
			<property>
					<name>mapreduce.jobhistory.address</name>
					<value>master02:10020</value>
			</property>
			<property>
					<name>mapreduce.jobhistory.webapp.address</name>
					<value>master02:19888</value>
			</property>
		</configuration>

文件 yarn-site.xml 改为下面的配置：

<configuration>
			<property>
					<name>yarn.resourcemanager.hostname</name>
					<value>master02</value>
			</property>
			<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
			</property>
		</configuration>

配置好后，压缩好包，复制到各个节点上，建议删除logs、tmp文件。

sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz worker01:/home/hadoop

在各个节点上解压复制过来的文件。

tar -zxvf hadoop.master.tar.gz

在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

        启动的是否发现报错：Host key verification failed.
       解决方案：检查主机和其他slave的known_hosts
   以下进程，则成功：
       Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程
       Slave 节点可以看到 DataNode 和 NodeManager 进程
       缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功，也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态：http://master:50070/。如果不成功，可以通过启动日志排查原因。

伪分布式、分布式配置切换时的注意事项

1, 从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
2, 在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

6、执行分布式实例

参考伪分布式模式

7、关闭 Hadoop 集群也是在 Master 节点上执行的：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver