三台ECS搭建Hadoop实例
JDK-1.8.1
Hadoop-3.3.0
CentOS-8.5
话不多说直接进入主题,导致这一列问题的原因内外网问题!!
你的hostname一定要和你设置域名映射进行匹配的上
如果配置完启动了,web页面访问不了
去ECS控制台-实例-点击实例ID-安全组-手动添加安全组-输入端口号即可
如下:
# 查看 hostname
cat /etc/hostname
# 修改hostname
vim /etc/hostname
# 查看 hosts文件
cat /etc/hosts
# 修改host文件
vim /etc/hosts
修改完域名之后查看Hadoop的配置的slaver文件,如果没有自行创建一个即可,也有点版本是workers,切记如果为集群模式的话,三台都要配置的一样 master节点在最上面
然后就是xml文件的配置:注意我已经在Hadoop的文件夹下了
打开core-site.xml
vim etc/hadoop/core-site.xml
配置hdfs地址以及端口
-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/data</value>
</property>
</configuration>
接下来配置yarn-site.xml
还是设置域名
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata01</value>
</property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MR程序。-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 每个容器请求的最小内存资源(以MB为单位)。-->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<!-- 每个容器请求的最大内存资源(以MB为单位)。-->
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
</property>
<!-- 容器虚拟内存与物理内存之间的比率。-->
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
</property>
</configuration>
最重要的一步 开启节点与节点之间的访问走外网
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- 这是复制的副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 这是数据节点保存数据的目录,需要自己创建 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/data/dt</value>
</property>
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
<description>only cofig in clients</description>
</property>
</configuration>
!!!注意!!!
这里的配置这是解决NameNode启动报错,或者DataNode启动不全,或Yarn的ResourceManager
启动失败的解决方案,而不是Hadoop集群的安装流程。
JPS查看进程
node1
按照正常的SNN作为备份进程不应该和NN一个节点,这里刚调试完请忽略
node2
node3
查看web界面
HDFS
如果配置的9000端口 HDFS的访问路径为你的hostname和9870端口号
http://bigdata01:9870/dfshealth.html#tab-overview
Yarn