HDFS HA 高可用搭建

最新推荐文章于 2023-09-19 13:48:46 发布
最新推荐文章于 2023-09-19 13:48:46 发布
阅读量348 收藏 2
点赞数
分类专栏： 大数据搭建 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43660536/article/details/118358298
版权

HDFS HA 搭建

目录

一、搭建高可用集群

NameNode-1NameNode-2DataNodeZookeeperZKFCJouralNode
Node01*****
Node02*****
Node03***

PS：HDFS HA基于MySQL和 Zookeeper使用 。

如果未安装：
链接: MySQL安装 ：. https://blog.csdn.net/weixin_43660536/article/details/118033294
链接: ZooKeeper安装：. https://blog.csdn.net/weixin_43660536/article/details/118369963

1、准备安装环境

  • [root@node01 ~]# tar -zxvf hadoop-3.1.2.tar.gz
[root@node01 ~]# mv hadoop-3.1.2 /opt/yjx/
[root@node01 ~]# cd /opt/yjx/hadoop-3.1.2/etc/hadoop/

2、修改集群环境

  • [root@node01 hadoop]# vim hadoop-env.sh

    • ##直接在文件的最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3、修改配置文件

  • [root@node01 hadoop]# vim core-site.xml

    • <property>
<name>fs.defaultFS</name>
<value>hdfs://hdfs-yjx</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/yjx/hadoop/ha</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>

  • [root@node01 hadoop]# vim hdfs-site.xml

    • <property>
<name>dfs.nameservices</name>
<value>hdfs-yjx</value>
</property>
<property>
<name>dfs.ha.namenodes.hdfs-yjx</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hdfs-yjx.nn1</name>
<value>node01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hdfs-yjx.nn2</name>
<value>node02:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.hdfs-yjx.nn1</name>
<value>node01:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.hdfs-yjx.nn2</name>
<value>node02:9870</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485/hdfs-yjx</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/yjx/hadoop/ha/qjm</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.hdfs-yjx</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
<value>shell(true)</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

  • [root@node01 hadoop]# vim workers

    • node01
node02
node03

4、拷贝分发软件

  • 将配置好的软件分发到其他主机

    • [root@node02 ~]# scp -r root@node01:/opt/yjx/hadoop-3.1.2 /opt/yjx/
[root@node03 ~]# scp -r root@node01:/opt/yjx/hadoop-3.1.2 /opt/yjx/

5、修改环境变量

  • [root@node01 hadoop]# vim /etc/profile

    • export HADOOP_HOME=/opt/yjx/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

  • 将环境变量拷贝到其他主机

    • [root@node01 yjx]# scp /etc/profile root@node02:/etc/profile
[root@node01 yjx]# scp /etc/profile root@node03:/etc/profile

  • 重新加载三台服务器的环境变量

    • 【123】# source /etc/profile

6、首先启动Zookeeper

  • 【123】zkServer.sh start
  • 【123】zkServer.sh status

7、启动JournalNode

  • 【123】 hdfs --daemon start journalnode
  • 在这里插入图片描述

8、格式化NameNode

  • [root@node01 yjx]# hdfs namenode -format
  • [root@node01 yjx]# hdfs --daemon start namenode
  • [root@node02 yjx]# hdfs namenode -bootstrapStandby
  • [root@node01 yjx]# hdfs zkfc -formatZK
  • [root@node01 yjx]# start-dfs.sh

9、关闭集群

  • [root@node01 ~]# stop-dfs.sh

    • Stopping namenodes on [node01]
Last login: Fri Oct 30 22:06:20 CST 2020 on pts/0
node01: Warning: Permanently added 'node01,192.168.88.101' (ECDSA) to the list of known hosts.
Stopping datanodes
Last login: Fri Oct 30 22:16:34 CST 2020 on pts/0
node03: Warning: Permanently added 'node03,192.168.88.103' (ECDSA) to the list of known hosts.
node02: Warning: Permanently added 'node02,192.168.88.102' (ECDSA) to the list of known hosts.
node01: Warning: Permanently added 'node01,192.168.88.101' (ECDSA) to the list of known hosts.
Stopping secondary namenodes [node02]
Last login: Fri Oct 30 22:16:35 CST 2020 on pts/0
node02: Warning: Permanently added 'node02,192.168.88.102' (ECDSA) to the list of known hosts.

  • 关机拍摄快照

    • [123]# shutdown -h now

10、重启测试集群

启动：

  • 【123】zkServer.sh start
  • [root@node01 yjx]# start-dfs.sh

测试

  • http://node01:9870
  • http://node02:9870
  • [root@node01 ~]# hdfs dfs -mkdir -p /yjx
  • [root@node01 ~]# hdfs dfs -put zookeeper-3.4.5.tar.gz /yjx/
  • [root@node01 ~]# hdfs dfs -D dfs.blocksize=1048576 -put zookeeper-3.4.5.tar.gz /yjx/

二、访问Hadoop集群

1、Java访问

  • window系统的环境变量配置

    • 解压hadoop-3.1.2.tar.gz，将解压后的文件夹存放到自己软件目录

      • 例如：D:\software\hadoop-3.1.2

    • 解压winutils-master.zip，找到3.1.2版本

      • 将所有的文件覆盖到D:\software\hadoop-3.1.2\bin目录

    • 将winutils.exe和hadoop.dll文件拷贝到 C:\Windows\System32目录下

  • 环境变量

    • 将Hadoop添加到环境变量

      • HADOOP_HOME–>D:\software\hadoop-3.1.2
      • HADOOP_USER_NAME–>root
      • Path --> %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

    • JDK的版本也设置的和服务器版本一致

    • 修改当前Window的hosts文件

      • C:\Windows\System32\drivers\etc\hosts
      • 192.168.88.101 node01
        192.168.88.102 node02
        192.168.88.103 node03

    • 拷贝Hadoop的配置文件

      • core-site.xml
      • hdfs-site.xml
      • mapred-site.xml
      • yarn-site.xml

    • 打开Idead,创建一个普通的Maven项目

      • 添加pom.xml

      • <properties>
	<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	<maven.compiler.source>1.8</maven.compiler.source>
	<maven.compiler.target>1.8</maven.compiler.target>
	<!-- Hadoop版本控制 -->
	<hadoop.version>3.1.2</hadoop.version>
	<!-- commons-io版本控制 -->
	<commons-io.version>2.4</commons-io.version>
</properties>

<dependencies>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-client</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-common -->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-common</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-core</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-jobclient-->
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
		<version>${hadoop.version}</version>
	</dependency>
	<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
	<dependency>
		<groupId>commons-io</groupId>
		<artifactId>commons-io</artifactId>
		<version>${commons-io.version}</version>
	</dependency>
	<dependency>
		<groupId>com.janeluo</groupId>
		<artifactId>ikanalyzer</artifactId>
		<version>2012_u6</version>
	</dependency>
</dependencies>

      • package com.yjx;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.util.Arrays;

public class Hello01HDfs {

    /**
     * 文件信息
     *
     * @throws IOException
     */
    private static void pathInfo() throws IOException {
        //加载配置文件
        Configuration configuration = new Configuration(true);
        //获取文件系统
        FileSystem fileSystem = FileSystem.get(configuration);
        //创建路径的Path对象
        Path path = new Path("/yjx/hadoop-3.1.2.tar.gz");
        boolean flag = fileSystem.exists(path);
        System.out.println(fileSystem.getDefaultBlockSize(path) / 1024 / 1024);
        System.out.println(fileSystem.getDefaultReplication(path));
        BlockLocation[] bls = fileSystem.getFileBlockLocations(path, 0, 10);
        for (BlockLocation blockLocation : bls) {
            System.out.println("HelloHdfs.hello(============================1)");
            System.out.println(blockLocation.getLength());
            System.out.println(blockLocation.getOffset());
            System.out.println(Arrays.toString(blockLocation.getHosts()));
            System.out.println(Arrays.toString(blockLocation.getNames()));
            System.out.println(blockLocation.toString());
            System.out.println("HelloHdfs.hello(============================2)");
        }
    }

    /**
     * 文件上傳和下載
     *
     * @throws IOException
     */
    private static void upload_download() throws IOException {
        //加载配置文件
        Configuration configuration = new Configuration(true);
      //获取文件系统
        FileSystem fileSystem = FileSystem.get(configuration);
        //文件上傳
        //        Path srcPath = new Path("D:\\apache-tomcat-8.5.47-windows-x64.zip");
        //        Path destPath = new Path("/yjx/");
        //        fileSystem.copyFromLocalFile(srcPath, destPath);
        //文件下載
        Path localPath = new Path("D:\\");
        Path hdfsPath = new Path("/yjx/apache-tomcat-8.5.47-windows-x64.zip");
        fileSystem.copyToLocalFile(hdfsPath, localPath);
    }

}

2、Idea访问

  • 将HadoopIntellijPlugin-1.0.zip文件放到Idea的插件目录

    • D:\Program Files\JetBrains\IntelliJ IDEA 2019.2.4\plugins

  • 打开Idea添加插件，然后重启Idea

    • 在这里插入图片描述

    • 在这里插入图片描述

  • 配置HDFS

    • 在这里插入图片描述

附录：配置文件详解

1、core-site.xml

core-site.xml配置文件的作用：
    用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置。

fs.defaultFS 参数的作用：
    #声明namenode的地址，相当于声明hdfs文件系统。我们可以指定某个ip地址，在ha模式中我们通常指定hdfs集群的逻辑名称

hadoop.tmp.dir 参数的作用：
    #声明hadoop工作目录的地址。

hadoop.http.staticuser.user 参数的作用：
    #在网页界面访问数据使用的用户名。默认值是一个不真实存在的用户，此用户权限很小，不能访问不同用户的数据。这保证了数据安全。也可以设置为hdfs和hadoop等具有较高权限的用户，但会导致能够登陆网页界面的人能看到其它用户数据。实际设置请综合考虑。如无特殊需求。使用默认值就好.

ha.zookeeper.quorum 参数的作用：
    #指定zookeeper集群的地址，让zookeeper帮我们管理hdfs集群。

2、hdfs-site.xml

hdfs-site.xml 配置文件的作用：
    #HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置.

dfs.replication 参数的作用：
    #为了数据可用性及冗余的目的，HDFS会在多个节点上保存同一个数据块的多个副本，其默认为3个。而只有一个节点的伪分布式环境中其仅用
保存一个副本即可，这可以通过dfs.replication属性进行定义。它是一个软件级备份。

dfs.nameservices 参数的作用：
    #指定一个逻辑名称，该名称会自动去帮我们找打真实NameNode节点，这和咱们的keepalive的VIP有点类似！这个名称咱们可以自定义！但是我们正在引用时千万别引用错了！

dfs.ha.namenodes.yinzhengjie-hdfs 参数的作用：
    #看到没，上面我们定义了dfs.nameservices的名称，现在我们就用到了，我们把定义的逻辑名称指向了各个namenode的别名

dfs.namenode.rpc-address.yinzhengjie-hdfs.namenode1 参数的作用：
    #定义远程主机调用的服务器地址。

dfs.namenode.http-address.yinzhengjie-hdfs.namenode1 参数的作用：
    #上面我们定义了集群的逻辑名称，也定义节点的逻辑名称，但是真正的ip地址我们始终没有指定，因此我们这一步骤就是指定dfs.namenode.rpc-address.yinzhengjie-hdfs.namenode1对应的IP地址。当然你写主机名称也是可以的，只不过嘛你得在/etc/hosts文件做映射或者配置DNS中有对应的A记录哟！

dfs.namenode.shared.edits.dir 参数的作用：
    #配置JournalNode集群的地址。

dfs.client.failover.proxy.provider.yinzhengjie-hdfs 参数的作用：
    #配置故障转移的代理类，这是HDFS客户端找到active NameNode类名的一个代理类，如果你不配置这个项的话，那么客户端连接active namenode地址时会报错！实际上故障转移就是通过这个代理类来实现的，我们只需要默认官网的配置即可！不需要手动修改！

dfs.ha.fencing.methods 参数的作用：
    #指定ha出现故障时的隔离方法！

dfs.ha.fencing.ssh.private-key-files 参数的作用：
    #指定隔离主机的私钥PATH。

dfs.journalnode.edits.dir 参数的作用：
    #指定JN节点存放编辑日志的目录。

dfs.ha.automatic-failover.enabled 参数的作用：
    #开启自动故障转移功能.

– dfs.name.dir

– NameNode 元数据存放位置

– 默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name

– dfs.block.size

– 对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。

– 默认值：67108864

– dfs.data.dir

– DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表，DataNode循环向磁盘中写入数据，每个DataNode可单独指定与其它DataNode不一样

– 默认值：${hadoop.tmp.dir}/dfs/data

– dfs.namenode.handler.count

– NameNode用来处理来自DataNode的RPC请求的线程数量 

– 建议设置为DataNode数量的10%，一般在10~200个之间 

– 如设置太小，DataNode在传输数据的时候日志中会报告“connecton refused"信息 

– 在NameNode上设定

– 默认值：10

– dfs.datanode.handler.count

– DataNode用来连接NameNode的RPC请求的线程数量

– 取决于系统的繁忙程度 

– 设置太小会导致性能下降甚至报错

– 在DataNode上设定

– 默认值：3

– dfs.datanode.max.xcievers

– DataNode可以同时处理的数据传输连接数 

– 默认值：256

– 建议值：4096

– dfs.permissions

– 如果是true则检查权限，否则不检查（每一个人都可以存取文件） 

– 于NameNode上设定

– 默认值：true

– dfs.datanode.du.reserved

– 在每个卷上面HDFS不能使用的空间大小 

– 在每个DataNode上面设定

– 默认值：0

– 建议为10737418240，即10G。需要结合MapReduce场景设置。 

– dfs.datanode.failed.volumes.tolerated

– DataNode可以容忍损块的磁盘数量，超过这个数量DataNode将会离线，所有在这个节点上面的block将会被重新复制 

– 默认是0，但是在有多块磁盘的时候一般会增大这个值

– dfs.replication

– 在文件被写入的时候，每一块将要被复制多少份 

– 默认是3份。建议3份 

– 在客户端上设定 

通常也需要在DataNode上设定

 

2、HDFS core-site.xml 参数配置

– fs.default.name

– 文件系统的名字。通常是NameNode的hostname与port

– 需要在每一个需要访问集群的机器上指定，包括集群中的节点 

– 例如：hdfs://<your_namenode>:9000/

– fs.checkpoint.dir

– 以逗号分隔的文件夹列表，SecondNameNode用来存储checkpoint image文件 

– 如果多于一个文件夹，那么都会被写入数据 

– 需要在SecondNameNode上设定

– 默认值：${hadoop.tmp.dir}/dfs/namesecondary

– hadoop.tmp.dir

– HDFS与本地磁盘的临时文件 

默认是/tmp/hadoop-${user.name}.需要在所有的节点中设定

– fs.trash.interval

– 当一个文件被删掉后，它会被放到用户目录的.Trash目录下，而不是立即删掉 

– 经过此参数设置的分钟数之后，再删掉数据 

– 默认是0，禁用此功能，建议1440（一天）

– io.file.buffer.size

– 设定在读写数据时的缓存大小，应该为硬件分页大小的2倍 

– 默认是4096，建议为65536 （ 64K）
忄凝^
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop（35）：Hadoop调优之HDFS集群迁移
yang_shibiao的博客
05-09 1280
目录 0. 相关文章链接 1. Apache和Apache集群间数据拷贝 2.Apache和CDH集群间数据拷贝 0. 相关文章链接 Hadoop文章汇总 1. Apache和Apache集群间数据拷贝 1）scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/root/hello.txt // 推 push scp -r root@hadoop103:/user/root/hello.txt hello....
hadoop2.6.0源码剖析-客户端(第二部分--DFSClient)下(HA代理)
weixin_39935887的博客
08-31 668
我们继续进入到org.apache.hadoop.hdfs.NameNodeProxies的函数 public static &lt;T&gt; ProxyAndInfo&lt;T&gt; createProxy(Configuration conf,URI nameNodeUri, Class&lt;T&gt; xface, AtomicBoolean fallbackToSimpleAuth...
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2736
HDFS HA 高可用搭建详细图文教程
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8340
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop2.6.0源码剖析-客户端(第二部分--DFSClient)上(非HA代理)
weixin_39935887的博客
08-25 796
我们讲解完了DistributedFileSystem，随着代码我们来到了DFSClient构造函数中,该函数代码如下： /**     * Create a new DFSClient connected to the given nameNodeUri or rpcNamenode.    * If HA is enabled and a positive value is set for...
hdfs的高可用搭建
10-17
关于hdfs的高可用搭建文档，详细介绍了hdfs如何搭建ha
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
hadoop高可用搭建文档
10-10
在大数据处理领域，Hadoop是不可或缺的核心组件，其高可用性（High Availability, HA）功能是确保服务不中断的关键。本篇文章将详细讲解如何搭建Hadoop的高可用环境，适用于生产环境，即使面对高版本的Hadoop，也...
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
HDFS High Availability（HA）高可用配置.doc
07-08
《HDFS高可用性（HA）配置详解》 在IT领域，高可用性（HA）是衡量系统稳定性和可靠性的重要指标，它确保系统能够持续、不间断地执行其核心功能。高可用性的目标并非完全消除故障，而是降低故障对业务的影响，通过...
HDFS-HA的配置-----手动Failover方式
chenpingbupt的专栏
08-29 6855
转帖请注明来自本空间：http://blog.csdn.net/chenpingbupt  1、配置log的路径（可选） etc/hadoop/hadoop-env.sh export HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logs export JAVA_HOME=/home/ziang/software/jd
HDFS Client UnknownHostException: NAMESERVICE
独行的卡卡的博客
01-16 3785
问题现象 HDFS Client抛出如下异常： java.net.UnknownHostException: NAMESERVICE at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374) at org.apache.hadoop.hdfs.NameNodeProxi
Hadoop的HDFS高可用方案
最新发布
weixin_44870066的博客
09-19 665
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFSNameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂1、HDFS系统高可用简介HDFS高可用的核心：NameNode高可用，部署多个NameNode，同时实现数据的同步和故障切换Active NameNode 和 Standby NameNode。
Hadoop HDFS高可用性(HA) 部署篇
再难也要坚持的博客
12-17 1608
Hadoop HDFS高可用性(HA) 部署篇
node02: Warning: Permanently added ‘node02,192.168.139.129‘ (ECDSA) to the list of known hosts.
qq_44732013的博客
04-06 1623
删除know_hosts文件，删除.ssh文件夹 重新生成.ssh，并且重新启动hadoop
hadoop的四个核心配置文件详解
热门推荐
feiyan的博客
03-22 1万+
https://blog.csdn.net/cuitaixiong/article/details/51591410 hadoop常用端口配置 1.HDFS 端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address...
hadoop系列(二)HA高可用方式部署
qq_38130094的博客
12-13 2496
hadoop系列(一)hadoop集群安装hadoop系列(二)HA高可用方式部署hadoop系列(三) HDFS的shell操作和常用API操作hadoop系列(四)HDFS的工作机制，MapReduce，yarn流程及核心原理hadoop系列(五)input和output主节点(nameNode节点)与其他从节点具备ssh免密登录环境HOSTNameNodeSNNDNZKFCZKnode01√√node02√√√√√。
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 2304
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Hadoop-HDFS HA集群搭建（zookeeper）
weixin_46662378的博客
06-15 818
hadoop-hdfs ha模式搭建
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件（一）;任务二 修改hdfs-site.xml配置文件（二）;任务二 修改hdfs-site.xml配置文件（三）;任务二 修改hdfs-site.xml配置文件（四）;任务二 修改hdfs-site.xml配置文件（五）;任务三 分发HDFS HA配置文件;任务四 HDFS HA集群的NameNode格式化（一）;任务四 HDFS HA集群的NameNode格式化（二）;任务五 部署完成之后常规启动HDFS HA集群;任务六 验证HDFS HA集群（一）;任务六 验证HDFS HA集群（二）

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值