CentOS系统部署Hadoop完全分布式集群

最新推荐文章于 2024-07-20 09:56:37 发布

ScriptFlying

最新推荐文章于 2024-07-20 09:56:37 发布

阅读量393

点赞数

分类专栏： Hadoop平台

本文链接：https://blog.csdn.net/weixin_42312310/article/details/103450137

版权

查看当前使用的CentOS版本及JDK、Hadoop版本，结果如下截图：

Hadoop全分布部署与伪分布的单机部分完全相同，唯有hadoop的文件配置略有不同，本文建立在伪分布部署的基础上重新修改配置文件，伪分布部署可见文档博文CentOS系统部署 Hadoop 伪分布模

一、配置主节点 master

前提：有已建好的单机环境，或伪分布环境也可

1、修改主机名

[root@cMaster hadoop]# vim /etc/hostname

//将主节点机器名修改为master
[root@master ~]# cat /etc/hostname
master
[root@master ~]#

2、修改配置文件 core-site.xml

[root@master ~]# cd /usr/local/hadoop                //进入hadoop目录
[root@master hadoop]# vim etc/hadoop/core-site.xml   //进入配置文件

//在标签<configuration></configuration>中修改添加以下内容
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:8020</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
  <name>io.file.buffer.size</name>
  <value>2048</value>
</property>

/*代码解析
defaultF