Hadoop-3.2.x 高可用集群搭建

已于 2023-08-11 11:28:32 修改
阅读量308 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop big data centos hdfs 大数据
于 2021-08-27 17:40:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33772352/article/details/119952469
版权

本章节阐述为在指定版本环境下示例安装，其它环境可根据实际情况参考安装

一. 环境版本

软件版本下载地址提取码
centosCentOS-7.6-x86_64自行安装6s86
java jdk1.8 tar.gz 格式自行百度安装 百度云下载xfdm
java jdk1.8 rpm 格式自行百度安装官网下载iexu
zookeeper3.6.3下载–
Hadoop3.2.2官网下载–
Hadoop3.2.2百度云下载ed08

Hadoop 官网地址：https://hbase.apache.org/book.html#hadoop

二. 环境准备

  • 这里准备 4 台服务器，环境准备 参考上期博客：环境准备

  • 四台服务器分配

    服务器一服务器二服务器三服务器四
    IP192.168.1.131192.168.1.132192.168.1.133192.168.1.134
    映射主机名n1n2n3n4
    集群主节点NameNodeNameNode
    数据节点DataNodeDataNodeDataNodeDataNode
    监控节点NodeManagerNodeManagerNodeManagerNodeManager
    Yarn集群主控节点ResourceManagerResourceManager
    负责NameNode信息同步JournalNodeJournalNodeJournalNode
    DFSZKFConlerDFSZKFConler
    zookeeperzk0zk1zk2zk3

    NameNode 和 SecondaryNameNode 不要安装在同一台服务器
    ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

    4台服务器 /etc/hosts 均需配置以下信息
    192.168.1.131 n1
    192.168.1.132 n2
    192.168.1.133 n3
    192.168.1.134 n4

    4台主机名改为对应 n1、n2、n3、n4

三. 创建用户

  • 创建 isi 程序用户， 创建 \u01 文件夹，授权给 isi 用户
    参考上期博客：创建用户

四. 上传解压

  • 使用isi用户登录 n1服务器

    su isi

  • 切换到 /u01 文件夹下，上传 hadoop-3.2.2.tar.gz，这里使用在线下载

    cd /u01
wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
tar zxvf hadoop-3.2.2.tar.gz

五. hadoop环境配置（n1）

  • 切换root用户

    su root

  • 将以下hadoop配置写入/etc/profile中

    # hadoop
export HADOOP_HOME=/u01/hadoop-3.2.2
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

  • 应用刷新 profile

    srouce /etc/profile

  • 测试是否配置成功。
    在这里插入图片描述

六. hadoop相关配置文件

  • 创建文件夹

    su isi
cd /u01/hadoop-3.2.2
mkdir logs
mkdir data

  • 修改 hadoop-3.2.2/etc/hadoop/hadoop-env.sh，取消并修改添加export JAVA_HOME=，使其值为我们解压出jdk的位置

    vi etc/hadoop/hadoop-env.sh

    # 安装的java目录
export JAVA_HOME=/usr/local/java/jdk1.8.0_141
# 文件最后追加
export HDFS_NAMENODE_USER=isi
export HDFS_DATANODE_USER=isi
export HDFS_SECONDARYNAMENODE_USER=isi
export YARN_RESOURCEMANAGER_USER=isi
export YARN_NODEMANAGER_USER=isi

  • 修改 hadoop-3.2.2/etc/hadoop/core-site.xml

    vi etc/hadoop/core-site.xml

    #添加以下内容, n1是 namenode 节点的IP映射

     <configuration>
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://casic</value>
			<description>逻辑名称，必须与hdfs-site.xml中的dfs.nameservices值保持一致</description>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/u01/hadoop-3.2.2/data</value>
			<description>namenode上本地的hadoop临时文件夹</description>
		</property>
		
		<! --
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>isi</value>
			<description>默认用户</description>
		</property>
		<property>
			<name>hadoop.proxyuser.root.hosts</name>
			<value>*</value>
			<description></description>
		</property>
		<property>
			<name>hadoop.proxyuser.root.groups</name>
			<value>*</value>
			<description></description>
		</property>
		-- >
		
		<property>
			<name>io.file.buffer.size</name>
			<value>131072</value>
			<description>读写文件的buffer大小为：128K</description>
		</property>
		<property>
			<name>ha.zookeeper.quorum</name>
			<value>n1:2181,n2:2181,n3:2181,n4:2181</value>
			<description>zookeeper地址</description>
		</property>
		<property>
			<name>ha.zookeeper.session-timeout.ms</name>
			<value>10000</value>
			<description>hadoop链接zookeeper的超时时长设置为10s</description>
		</property>
 </configuration>

  • 修改hadoop-3.2.2/etc/hadoop/hdfs-site.xml

    vi etc/hadoop/hdfs-site.xml

    #添加以下内容

    <configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
		<description>Hadoop中每一个block的备份数</description>
	</property>
	<property>  
		<name>dfs.permissions.enabled</name>  
		<value>false</value>  
        </property>  

	<!-- 存储路径 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/u01/hadoop-3.2.2/data/dfs/name</value>
		<description>namenode上存储hdfs名字空间元数据目录</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/u01/hadoop-3.2.2/data/dfs/data</value>
		<description>datanode上数据块的物理存储位置</description>
	</property>
	<!--
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>n1:9869</value>
		<description></description>
	</property>
	-->

	<!--指定hdfs的nameservice为 casic ，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>casic</value>
		<description>指定hdfs的nameservice,需要和core-site.xml中保持一致</description>
	</property>
	<property>
		<name>dfs.ha.namenodes.casic</name>
		<value>nn1,nn2</value>
		<description>casic为集群的逻辑名称，映射两个namenode逻辑名</description>
	</property>
	
	<!-- RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.casic.nn1</name>
		<value>n1:8020</value>
		<description>namenode1的RPC通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.casic.nn2</name>
		<value>n2:8020</value>
		<description>namenode2的RPC通信地址</description>
	</property>
	
	<!-- http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.casic.nn1</name>
		<value>n1:50070</value>
		<description>namenode1的http通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.http-address.casic.nn2</name>
		<value>n2:50070</value>
		<description>namenode2的http通信地址</description>
	</property>
	
	<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://n1:8485;n2:8485;n3:8485/casic</value>
		<description>指定NameNode的edits元数据的共享存储位置(JournalNode列表)</description>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name> 
		<value>/u01/hadoop-3.2.2/data/journaldata</value>
		<description>指定JournalNode在本地磁盘存放数据的位置</description>
	</property>	
	
	<!-- 容错 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
		<description>开启NameNode故障自动切换</description>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.gky</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		<description>失败后自动切换的实现方式</description>
	</property>

   	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
				sshfence
				shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/u01/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

</configuration>

  • 修改hadoop-3.2.2/etc/hadoop/mapred-site.xml

    vi etc/hadoop/mapred-site.xml

    #添加以下内容

    <configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<description>job执行框架： local, classic or yarn</description>
	</property>
	
	<!--
	<property>
		<name>mapreduce.application.classpath</name>
		<value>/u01/hadoop-3.2.2/etc/hadoop:/u01/hadoop-3.2.2/share/hadoop/common/lib/*:/u01/hadoop-3.2.2/share/hadoop/common/*:/u01/hadoop-3.2.2/share/hadoop/hdfs/*:/u01/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/u01/hadoop-3.2.2/share/hadoop/mapreduce/*:/u01/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/u01/hadoop-3.2.2/share/hadoop/yarn/*:/u01/hadoop-3.2.2/share/hadoop/yarn/lib/*</value>
	</property>
	-->

	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>n1:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>n1:19888</value>
	</property>
	
	<property>
        	<name>yarn.app.mapreduce.am.env</name>
        	<value>HADOOP_MAPRED_HOME=/u01/hadoop-3.2.2</value>
    	</property>
    	<property>
        	<name>mapreduce.map.env</name>
        	<value>HADOOP_MAPRED_HOME=/u01/hadoop-3.2.2</value>
    	</property>
   	<property>
        	<name>mapreduce.reduce.env</name>
        	<value>HADOOP_MAPRED_HOME=/u01/hadoop-3.2.2</value>
    </property>

	<property>
		<name>mapreduce.map.memory.mb</name>
		<value>1024</value>
		<description>map阶段的task工作内存</description>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<value>2048</value>
		<description>reduce阶段的task工作内存</description>
	</property>
	
</configuration>

  • 修改hadoop-3.2.2/etc/hadoop/yarn-site.xml

    vi etc/hadoop/yarn-site.xml

    #添加以下内容

    <configuration>
    <!-- Site specific YARN configuration properties -->
    <!--启用resourcemanager ha-->  
   	<!--是否开启RM ha，默认是开启的-->  
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
		<description>开启resourcemanager高可用</description>
	</property>

	<!--声明两台resourcemanager的cluster ID -->  
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrcasic</value>
		<description>指定yarn集群中的id</description>
	</property>

	<!-- 指定resourcemanager的名字  -->  
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
		<description>指定resourcemanager的名字</description>
	</property>

	<!-- 分别指定resourcemanager的地址  --> 
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>n3</value>
		<description>设置rm1的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>n4</value>
		<description>设置rm2的名字</description>
	</property>

	<!--如果不添加以下内容的话运行mapreduce的时候会出现问题。这里怀疑是AM和RM通信有问题；一台是备RM,一台活动的RM，在YARN内部，当MR去活动的RM为任务获取资源的时候没问题，但是去备RM获取时就会出现这个问题。-->   
	<property>
        	<name>yarn.resourcemanager.address.rm1</name>
        	<value>n3:8032</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.scheduler.address.rm1</name>  
        	<value>n3:8030</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.webapp.address.rm1</name>
        	<value>n3:8088</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        	<value>n3:8031</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.admin.address.rm1</name>
        	<value>n3:8033</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.ha.admin.address.rm1</name>
        	<value>n3:23142</value>
	</property>

	<property>
        	<name>yarn.resourcemanager.address.rm2</name>
        	<value>n4:8032</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.scheduler.address.rm2</name>
        	<value>n4:8030</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.webapp.address.rm2</name>
        	<value>n4:8088</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        	<value>n4:8031</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.admin.address.rm2</name>
        	<value>n4:8033</value>
	</property>
	<property>
        	<name>yarn.resourcemanager.ha.admin.address.rm2</name>
        	<value>n4:23142</value>
	</property>


	<!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false--> 
   	<property>  
       		<name>yarn.resourcemanager.recovery.enabled</name>  
       		<value>true</value>  
    	</property>     
    	<!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->   
    	<property>  
       		<name>yarn.resourcemanager.store.class</name>  
       		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  
    	</property> 

	<!-- zookeeper 地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>n1:2181,n2:2181,n3:2181,n4:2181</value>
		<description>指定zk集群地址</description>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>运行mapreduce程序必须配置的附属服务</description>
	</property>

	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/u01/hadoop-3.2.2/tmpdata/yarn/local</value>
		<description>nodemanager本地存储目录</description>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/u01/hadoop-3.2.2/tmpdata/yarn/log</value>
		<description>nodemanager本地日志目录</description>
	</property>
	
</configuration>

  • 修改集群下的 hadoop-3.2.2/etc/hadoop/workers 文件

    vi etc/hadoop/workers

    #添加以下内容

    n1
n2
n3
n4

七. 分发其它节点

  • 分发 n1 中的 Hadoop 到 n2、n3、n4
    scp -r /u01/hadoop-3.2.2  n2:/u01/
scp -r /u01/hadoop-3.2.2  n3:/u01/
scp -r /u01/hadoop-3.2.2  n4:/u01/
  • 修改n3 节点， yarn-site.xml 上添加 HA id
    <property>  
  <name>yarn.resourcemanager.ha.id</name>  
  <value>rm1</value>  
</property>
  • 修改n4 节点， yarn-site.xml 上添加 HA id
    <property>  
  <name>yarn.resourcemanager.ha.id</name>  
  <value>rm2</value>  
</property>

八. 启动hadoop和测试

  1. 启动 zookeeper
    启动 所有 zookeeper 节点

    /bin/zkServer.sh start conf/zoo.cfg

  2. 启动每个 journalnode
    在 （n1、n2、n3 ）journalnode节点用如下命令启动journalnode

     ./sbin/hadoop-daemon.sh start journalnode

  3. 在（ n1） 格式化NameNode，使用start-all开启所有进程，并且使用jps查看进程情况。

    ./bin/hdfs namenode -format

    如果出现 has been successfully formatted. 则表示格式化成功
    如果出现 Retrying connect to server: n2/192.168.1.132:8485. Already tried 0 time(s)
    执行以下命令，启动集群再执行格式化命令

     ./sbin/start-dfs.sh
 ./bin/hdfs namenode -format

    激活第一个启动 n1 为 active 节点

     ./bin/hdfs --daemon start namenode

  4. 在另一个namenode （ n2） 同步 主namenode

     ./bin/hdfs namenode -bootstrapStandby
 ./sbin/start-dfs.sh

  5. 在 (n1) 格式 zkfc

     ./bin/hdfs zkfc -formatZK

  6. 在 (n1) 启动 yarn

    ./sbin/start-yarn.sh

  7. 在 (n1) 启动历史日志服务器

    ./bin/mapred --daemon start historyserver

  8. 在 (n1、n2) 启动httpfs服务
    powershell ./bin/hdfs --daemon start httpfs
    补充：如果想单独启动zkfc使用以下命令
    powershell ./bin/hdfs --daemon start zkfc

  9. 使用 jps 查看服务
    n1
    在这里插入图片描述
    n2
    在这里插入图片描述
    n3
    在这里插入图片描述
    n4
    在这里插入图片描述

  10. 查看集群界面

    浏览器访问：http://n1:50070
    此时看到四个节点状态正常
    在这里插入图片描述
    n1 为 active 状态在这里插入图片描述

  11. 强制节点变为active(手动故障转移
    如果两个 namenode 都为 standby 状态
    这时可以先强制手动是其中一个节点变为active

    ./bin/hdfs haadmin -transitionToActive nn1 --forcemanual

  12. 其它界面信息
    浏览器访问：http://n2:8042
    在这里插入图片描述

freedom_Mr
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HADOOP(3.3.2)安装
shuergang1的博客
05-25 1364
HADOOP的安装方式，每种方式的安装实现
hadoop 3.3.2源码包
05-06
hadoop 3.3.2源码包
hadoop-3.3.2
03-10
hadoop-3.3.2
hadoop 3.2 集群搭建
qq_39314099的博客
12-24 2028
hadoop 集群 3.2 搭建过程其实很简单。 hadoop 官网地址：https://hadoop.apache.org/releases.html 选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮： 自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的： 所以仔细对比了下配置文件，并未发现有什么异同，唯一不同...
hadoop3.3.2版本分布式集群搭建1主1从（含虚拟机安装教程）
Angzush的博客
08-05 925
Hadoop 3.3.2版本分布式集群搭建1主1从（含Linux 虚拟机安装教程）
Hadoop3.2学习-3.全分布式安装
liukzz的博客
04-26 783
1.修改hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root 2.修改core-site.xml <configura...
大数据学习3.2 部署Hadoop
zl202111的博客
11-09 496
Hadoop部署
Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆教程
热门推荐
NEKOic的博客
03-15 1万+
目录Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆级教程；；ubuntu 更换国内源；；ubuntu java 环境配置；；ubuntu hadoop 安装与配置
Hadoop 3.2 环境搭建
diedfish_ivan的博客
12-12 259
软件环境 java version "1.8.0_181" Apache Hadoop 3.2.0 CentOS Linux release 7.4.1708 (Core) 查看 JDK 与 Hadoop 版本匹配 https://wiki.apache.org/hadoop/HadoopJavaVersions Linux 相关设置 1.1 设置静态 IP CentOS 7下面配置...
Hadoop3.3.2 完全分布式集群构建步骤【无脑版】
software_0215的专栏
04-15 3388
hadoop 完全分布式 集群 linux
hadoop3.2中配置及部分说明
11-23
hadoop3.2中配置，包含core-site.xml，hdfs-site.xml,yarn-site.xml，并配有部分说明，仅供交流和参考
Hadoop3.2.2资源包+安装文档
04-20
容错 Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。 Hadoop 3.x - 可以通过Erasure编码处理容错。 数据平衡 Hadoop 2.x - 对于数据平衡使用HDFS平衡器。 Hadoop 3.x - 对于数据平衡使用Intra-data节点平衡器，该平衡器通过HDFS磁盘平衡器CLI调用。 存储Scheme Hadoop 2.x - 使用3X副本Scheme Hadoop 3.x - 支持HDFS中的擦除编码。 存储开销 Hadoop 2.x - HDFS在存储空间中有200％的开销。 Hadoop 3.x - 存储开销仅为50％。 单点故障 Hadoop 2.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复。 Hadoop 3.x - 具有SPOF的功能，因此只要Namenode失败，它就会自动恢复，无需人工干预就可以克服它。
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。           Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/JournalNode hadoop 172.16.250.237 DN2/JN2/RM1 DataNode/JournalNode/ResourceManager hadoop 172.16.250.238 DN3/JN3/RM
hadoop3.2.1伪分布集群各组件安装教程.pdf
03-31
根据实战安装步骤，详细描述hadoop3.2.1、hive3.1.2（包括mysql5.7）、zookeeper3.6、hbase2.2.4、flume1.90、sqoop1.4.7各组件安装步骤,记录过程中的各种坑，方便各位看官快速安装部署hadoop伪分布集群。
Windows环境部署Hadoop-3.3.2和Spark3.3.2
雷神乐乐的博客
03-11 1745
Windows环境部署Hadoop-3.3.2和Spark3.3.2
hadoop3.3.2集群搭建---配置和启动
最新发布
m0_62442924的博客
04-09 213
2.2 修改core-site.xml文件。2.3 修改hdfs-site.xml文件。2.4 修改mapred-site.xml。2.5 修改yarn-site.xml。2.1 修改workers文件。3.2 Hadoop集群启动。3.1 Hadoop初始化。2、hadoop文件配置。3、初始化并启动集群。
Hadoop3.2.0集群（4节点-无HA）
weixin_30616969的博客
04-25 109
1.准备环境 1.1配置dns # cat /etc/hosts 172.27.133.60 hadoop-01 172.27.133.61 hadoop-02 172.27.133.62 hadoop-03 172.27.133.63 hadoop-04 1.2配置免密登陆 # ssh-keygen # ssh-copy-id root@hadoop-02/03/04...
部署hadoop3.3.2详细流程
Indoni的博客
04-17 1119
hadoop3.3.2服务器搭建
大数据开发一 Hadoop3.2.1 集群搭建与启动
m0_67393157的博客
04-12 356
目录 1. 简述 2. 集群搭建与启动 ? ?2.1基本环境准备与安装选择 ? ?2.2 hadoop的配置文件设置 （重点） ? ?2.3 启动 3. 踩坑记录 4. 结语 1. 简述 作为一名后端工程师，一直对大数据开发有浓厚的兴趣。自主学习已半年有余，特此总结Hadoop3.2.1 在虚拟机(centos6.7)环境下的集群搭建启动流程（从无到有），希望能帮到同在踩坑中的读者。 2. 集群搭建与启动 2.1基本环境准备与安装选择 基础环境不过多赘述，本人情况如下： 1. 三台虚拟机（centos6
hadoop3.2.2集群搭建
m0_67393828的博客
03-25 2299
说明：本文以HDFS High Availability Using the Quorum Journal Manager模式搭建hadoop3.2.0集群。 环境 CentOS7.5.1804、jdk1.8.0_181、zookeeper3.6.2、hadoop3.2.2 虚拟机安装CentOS7五台，如下： hostname IP roles node-1 192.168.56.129 QuorumPeerMain、NameNode、JournalNode、DFSZKFailoverControll
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值