Hadoop之hdfs伪分布模式的步骤搭建

哈喽小伙伴们大家好，今天呢给大家介绍一下关于Hadoop的hdfs伪分布模式的步骤搭建过程，希望对大家有所帮助~

一、hdfs伪分布模式搭建前的准备工作

1、环境准备工作：①安装了JDK、②安装了Hadoop、③关闭了防火墙（systemctl status firewalld）④对自己的免密登录（ssh-copy-id 用户名  选择yes输入密码，输入：ssh 用户名 进行测试免密是否成功）⑤修改Linux的一个安全机制（vi /etc/selinux/config ; 修改里面的SELINUX=disabled）⑥设置host映射

二、开始配置

需要配置的文件位置为：/opt/installs/hadoop/etc/hadoop（注意该位置为安装Hadoop的位置，此处是作者本人的文件位置）

我们需要修改上图中被圈起来的文件

1、core-site.xml

代码如下：

<configuration>
  <!-- 设置namenode节点 -->
  <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata01:9820</value>
  </property>
  
  <!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/installs/hadoop/tmp</value>
  </property>
</configuration>

2、hdfs-site.xml

代码如下：

<configuration>
     <property>
        <!--备份数量-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:9868</value>
    </property>
    <!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata01:9870</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

3、hadoop-env.sh（此处添加代码写在文本最后即可）

代码如下：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/opt/installs/jdk

4、workers（只需把文件文本改为你虚拟机的用户名即可）

5、确保操作无误后对整个集群进行namenode格式化：（此操作较为危险，注意不要写错，请勿重复操作）

hdfs namenode -format

格式化其实就是创建了一系列的文件夹：

这个文件夹的名字是 logs tmp

假如你想格式化第二次，需要先删除这两个文件夹，然后再格式化

6、启动集群，代码如下：

start-dfs.sh

之后我们便可以通过网址访问hdfs集群：

http://虚拟机ip地址:9870/

此处的9870是上面文本配置中我们设置的，如果访问不到请排查上述过程中操作是否有误。

目前搭建的这个到底是hdfs的伪分布还是hadoop伪分布？

答案是 hdfs的伪分布，但是hdfs 也是hadoop的一部分。

真正的hadoop伪分布还需要配置yarn 才算真正的伪分布。

感谢阅读，我们下次再见！