Hadoop-HDFS集群搭建

Gemini历久弥新

已于 2022-11-13 16:14:53 修改

阅读量754

点赞数

分类专栏：大数据文章标签： hadoop 大数据 hdfs

于 2022-10-28 17:14:31 首次发布

本文链接：https://blog.csdn.net/qq_42195813/article/details/127574422

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

HDFS集群搭建

1.伪分布式
2.完全分布式
3.HA模式

1.伪分布式

在这里插入图片描述

1.1 基础设施

在这里插入图片描述
centos 6.5 jdk 1.8 hadoop 2.6.5

检查主机名
hostname
修改主机名
vi /etc/hostname

在这里插入图片描述
CentOS 8 防火墙设置：https://blog.csdn.net/weixin_45716754/article/details/124043631
CentOS 8 免密设置：https://blog.csdn.net/qq_43688472/article/details/109625590

1.2 部署配置

在这里插入图片描述

<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property>

在这里插入图片描述
Hadoop2-Hadoop3端口号对比：https://blog.csdn.net/h8b6Pk7M7r8/article/details/97621958?spm=1001.2014.3001.5506

1.3 初始化&启动

在这里插入图片描述

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

检查虚拟机端口状态指令：netstat -nltp
在这里插入图片描述

2.完全分布式

在这里插入图片描述

Hadoop2.x配置slaves（Hadoop3.x版本为workers）

文件分发 : scp （文件名） （目的节点名称）:`pwd`

3.HA模式

在这里插入图片描述

3.1 HA解决方案

在这里插入图片描述

3.2 Federation解决方案

在这里插入图片描述

3.3 HA模式搭建

在这里插入图片描述

<property>
            <name>dfs.ha.fencing.methods</name>
            <value>
                    sshfence
                    shell(/bin/true)
            </value>
</property>