2.1.6 hadoop体系之离线计算-hdfs分布式文件系统-全分布式安装

敲代码的乔帮主

于 2020-09-22 10:07:19 发布

阅读量190

点赞数 1

分类专栏：大数据学习之路

本文链接：https://blog.csdn.net/Suyebiubiu/article/details/108719051

版权

大数据学习之路专栏收录该内容

181 篇文章 20 订阅

订阅专栏

3.2 修改core-site.xml文件

3.3 修改hdfs-site.xml

3.4 修改workers（从节点别名）

4.向node02，node03，node04分发安装hadoop

5.配置hadoop环境

6.主节点node01格式化当前NAMENODE节点-创建文件夹

7.在主节点node01上启动集群

7.1 打开node01监听端口：ss -nal

1.写在前面

之前在node01节点上搭建了一个伪分布式安装的hadoop，现在想利用我们手里的4台虚拟机，搭建一个4台主机的完全分布式的hadoop。

2.安装条件

需要安装jdk环境和ssh免秘钥登陆

安装hadoop在：cd /opt/sxt/ 下面

3.修改配置文件

cd etc/hadoop 进入这个目录（集群启动的时候，只会读当前这个文件夹），其中有大量配置文件。

3.1 修改hadoop-env.sh

直接启动 vi hadoop-en.sh，找到末尾，需要引入jdk环境变量，写上角色和对应进程，目前是需要三个角色：1个namenode+2个datanode。（一共四个配置项）

echo $JAVA_HOME 可以输出路径

3.2 修改core-site.xml文件

直接启动 vi core-site.xml ,文件本身没有任何配置信息，需要手动填写进来。localhost修改为节点的别名，一般默认端口开启9820，修改临时目录。

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node01:9820</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/sxt/hadoop/full</value>
        </property>
</configuration>

3.3 修改hdfs-site.xml

直接启动 vi hdfs-site.xml ，replication代表的是副本的意思，副本保证了高可用。

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node02:9868</value>
        </property>
</configuration>