Hadoop HA高可用集群搭建详细过程(亲测四台有效）

最新推荐文章于 2024-05-08 10:59:13 发布
最新推荐文章于 2024-05-08 10:59:13 发布
阅读量5.3k 收藏 40
点赞数 9
文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43532434/article/details/106794717
版权

hadoop集群HA高可用搭建
❀❀❀❀❀搭建前的简单介绍❀❀❀❀❀
主机配置环境如下表：
在这里插入图片描述
Hadoop HA原理:
   在一典型的HA集群中，每个NameNode是一台独立的服务器。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换(两种切换方式，选择手动切换和自动切换)。手动切换是通过命令实现主备之间的切换，可以用HDFS升级等场合，自动切换方案基于Zookeeper。两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。

HA集群的架构图
在这里插入图片描述
将四台机子node01,node02,node03,node04，按如下HA安装方案图进行集群规划。
HA安装方案图
在这里插入图片描述
*表示虚拟机要配置该角色

hadoop 2.X介绍
 Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成；
 HDFS：NN Federation（联邦）、HA；
 2.X:只支持2个节点HA，3.0实现了一主多从
 MapReduce：运行在YARN上的MR；
   离线计算，基于磁盘I/O计算
 YARN：资源管理系统
作用：
 a.解决HDFS 1.0中单点故障和内存受限问题。
 b.解决单点故障
   HDFS HA：通过主备NameNode解决
   如果主NameNode发生故障，则切换到备 NameNode上
 c.解决内存受限问题
   HDFS Federation(联邦)
   水平扩展，支持多个NameNode；
 （1）每个NameNode分管一部分目录；
 （2）所有NameNode共享所有DataNode存储资源

xftp和xshell介绍：
  xftp 是一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。
  xshell 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。
 本人安装了xshell5.0和Xftp-4.0。在搭建过程中，使用xshell连接4台虚拟机，进行命令操作，这样十分方便，免去了鼠标在windows和linux之间来回切换的不便性。
xftp传输文件页面如下（左右两边文件可互传）：在这里插入图片描述

准备工作：
 开启node01，node02，node03，node04四台虚拟机，4台虚拟机之间可以互相访问（可ping通），root用户登录。
在这里插入图片描述
开启虚拟机出现虚拟机繁忙问题解决办法：
 当你启动虚拟机时，虚拟机卡住或者关不掉虚拟机的情况，可以试试重启一下你的计算机，如果还是无法解决的话，接下来可以win+R,输入msconfig命令，重新启动一下VMware相关的五项服务。
在这里插入图片描述
在这里插入图片描述

xshell连接上四台虚拟机，接下来的命令都在xshell中进行。
在这里插入图片描述

现在就可以动手开始搭建啦~~

一、搭建集群

1、软件安装

1.1 安装jdk

在node01上用rpm装jdk，命令如下：

-rpm -i jdk-7u67-linux-x64.rpm
-whereis java
-vi + /etc/profile
	export JAVA_HOME=/usr/bin/java
	export PATH=$PATH:$JAVA_HOME/bin
-source /etc/profile

运行图如下：
在这里插入图片描述在这里插入图片描述
👍提示：如果出现 -bash: jps: command not found
改：export JAVA_HOME=/usr/bin/java
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin
修改后jps出来如下图所示，则结果正常
在这里插入图片描述
分发jdk到node02、03、04，命令如下：

-scp jdk-7u67-linux-x64.rpm node02:`pwd`
-scp jdk-7u67-linux-x64.rpm node03:`pwd`
-scp jdk-7u67-linux-x64.rpm node04:`pwd`

在node02、03、04分别安装jdk，命令如下：

-rpm -i jdk-7u67-linux-x64.rpm

在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上。

scp profile node02:`pwd`

利用Xshell全部会话栏，source /etc/profile
利用Xshell全部会话栏，jps，看04、05、06这三台机子的jdk是否装好。04，05，06都像下面一样的结果即正确。
在这里插入图片描述

1.2 安装hadoop2.6.5

（这里安装的是个绿色版，解压就能用)

1.2.1 在node01上安装hadoop
`tar xf hadoop-2.6.5.tar.gz -C /opt/nj` (注：-C的C 是大写）

然后到/opt/nj目录下去看一下是否解压好了

cd /opt/nj/hadoop-2.6.5

其中sbin这个文件夹很重要,放的是系统级别的一些可执行脚本
修改hadoop配置文件信息

cd /opt/nj/hadoop-2.6.5/etc/hadoop

注：以上路径的etc可不是根目录下的etc
在这里插入图片描述
给这三个文件里的JAVA_HOME都改成绝对路径/usr/java/jdk1.7.0_67
在这里插入图片描述
修改hadoop配置文件信息
配置命令 vi core-site.xml 结果图如下：
在这里插入图片描述
配置命令 vi hdfs-site.xml 结果图如下：
在这里插入图片描述
配置slaves文件(localhost改为node01 )

格式化hdfs(只能格式化一次，再次启动集群不要执行，否则clusterID变了)
在这里插入图片描述
在这里插入图片描述
当像运行结果图中显示successfully，即成功
（之前/var/nj/hadoop/pseudo这个文件不存在，格式化后就存在了，要记得检查一下看存在没）

接下来启动集群
start-dfs.sh，并用jps验证下都有哪些进程启动起来了。
在这里插入图片描述
在浏览器里打开node01:50070（☺别用360浏览器哦！推荐firefox），如下图：
在这里插入图片描述
try
创建目录：hdfs dfs -mkdir -p /user/root
更新网页，可以在utilities下的browse directory中发现创建成功的目录。
在这里插入图片描述
上传文件命令： hdfs dfs -put a.txt /user/root
在这里插入图片描述
🎨hadoop的log查法：
cd到hadoop-2.6.5（我用的Hadoop版本）
ll查看
在这里插入图片描述
可以进一步查看logs里面的东西：
在这里插入图片描述
完成后关闭集群
在这里插入图片描述

1.2.2 修改namenode的一些配置信息,分发到node02、03、04

A.vi hdfs-site.xml
去掉snn的配置

 <property>
              <name>dfs.namenode.secondary.http-address</name>
          	  <value>node01:50090</value>
 </property>

增加以下property

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/nj/hadoop/ha/jn</value>
</property>


<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>

<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

B.vi core-site.xml
增加以下property

<!– 集群名称mycluster-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!– zookeeper布署的位置-->
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

C.vi slaves
增加以下内容

node02
node03
node04

D.安装hadoop
cd /opt ，将其下的nj目录分发到node02、03、04

scp –r  nj/ node02:`pwd`
scp –r  nj/ node03:`pwd`
scp –r  nj/ node04:`pwd`

将hdfs-site.xml和core-site.xml分发到node02、03、04

scp hdfs-site.xml core-site.xml node02:`pwd`
scp hdfs-site.xml core-site.xml node03:`pwd`
scp hdfs-site.xml core-site.xml node04:`pwd`

1.3 安装zookeeper

这里本人用到的zookeeper版本为zookeeper-3.4.6

在node02上用以下命令操作,装在node02,03,04
a.解压安装zookeeper

tar xf zookeeper-3.4.6.tar.gz -C /opt/nj

ll看看也没有software,没有，创建一个目录mkdir software
b.修改zookeeper的配置文件

cd /opt/nj/zookeeper-3.4.6/conf

ll看看也没有zoo_sample.cfg，给zoo_sample.cfg改名

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg 改 dataDir=/var/nj/zk
并在末尾追加
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
其中2888主从通信端口，3888是当主挂断后进行选举机制的端口

c.把zookeeper分发到其他节点

cd /opt/nj
scp -r zookeeper-3.4.6/ node03:`pwd`
scp -r zookeeper-3.4.6/ node04:`pwd`

并用ll /opt/nj检查下看分发成功没
存在zookeeper-3.4.6即为成功

d.给每台机子创建刚配置文件里的路径

mkdir -p /var/nj/zk

对node02来说：

echo 1 > /var/nj/zk/myid
cat /var/nj/zk/myid

对node03来说：

echo 2 > /var/nj/zk/myid
cat /var/nj/zk/myid

对node04来说：

echo 3 > /var/nj/zk/myid
cat /var/nj/zk/myid

e.在/etc/profile里面配置

export ZOOKEEPER_HOME=/opt/nj/zookeeper-3.4.6
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

f.然后在把/etc/profile分发到其他node03、node04

scp /etc/profile node03:/etc
scp /etc/profile node04:/etc

在node02、03、04里source /etc/profie，☆这步千万别忘
验证source这句是否完成，输入zkCli.s，按Tab可以把名字补全zkCli.sh

2、 关闭防火墙

命令：

service iptables stop
chkconfig iptables off

3、 同步所有服务器的时间

date 命令查看机子当前的时间。
时间不能差太大，否则集群启动后某些进程跑不起来。
若时间不同步，怎么办？
A. yum进行时间同步器的安装
yum -y install ntp
在这里插入图片描述
B. 执行同步命令
ntpdate time1.aliyun.com 和阿里云服务器时间同步

4、配置文件检查

cat /etc/sysconfig/network

查看HOSTNAME是否正确

cat /etc/hosts

查看IP映射是否正确
若不正确，可以改文件，也可以把node01上的用scp分发过去。
cat /etc/sysconfig/selinux里是否SELINUX=disabled
service iptables status查看防火墙是否关闭

5、免秘钥设置

5.1 NN与其他三台机子的免秘钥设置

NN node01免秘钥处理命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

过程如下图：
在这里插入图片描述在这里插入图片描述在这里插入图片描述
ssh localhost 验证 （别忘了exit）
ssh node01验证（别忘了exit）
在这里插入图片描述
把node01的公钥发给其他三台机子

scp  id_dsa.pub   node02:`pwd`/node01.pub
scp  id_dsa.pub   node03:`pwd`/node01.pub
scp  id_dsa.pub   node04:`pwd`/node01.pub

在node01上分别ssh node02 ; ssh node03 ; ssh node04，看是否能免密钥登录，每次ssh都别忘了exit ！！！
在这里插入图片描述
在node04的.ssh目录下看是否有node01.pub
如果有，那就追加到authorized_keys
在这里插入图片描述
并且在node01上ssh node02看是否免密钥了，记得exit
给node03、04都追加一下node01.pub,也就是在node03、04的.ssh目录下执行cat node01.pub >> authorized_keys

5.2 两个NN间互相免密钥

node01与node02间互相免密钥: node01可免密钥登录node02，那现需node02上能免密钥登node01，所以
在node02上：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost

验证一下
分发到node01上：scp id_dsa.pub node03:pwd/node04.pub
在node01的.ssh目录下，cat node02.pub >> authorized_keys,
在node02上ssh node03验证一下可否免密钥登录

6、启动zookeeper

xshell 中选择全部会话输入：zkServer.sh start
接着用命令zkServer.sh status查看每个zookeeper节点的状态
注意：如果启动不起来，请把/etc/profile里的JAVA_HOME改成绝对路径。

7、启动journalnode

在01、02、03三台机子上分别把journalnode启动起来

hadoop-daemon.sh start journalnode

用jps检查下进程启起来了没，出现journalnode进程即为成功！

8、格式化任一namenode

随意挑一台namenode上执行hdfs namenode –format这里我在node01上进行格式化。
另一台namenode不用执行，否则clusterID变了，找不到集群了。
然后，启动刚刚格式化的那台namenode

hadoop-daemon.sh start namenode

9、给另一namenode同步数据

我们要给另一台namenode同步一下数据，node02上进行以下命令

hdfs namenode -bootstrapStandby

10、格式化zkfc

hdfs zkfc -formatZK
在node02上执行zkCli.sh打开zookeeper客户端 ls / 看hadoop-ha是否打开
在这里插入图片描述

11、启动hdfs集群

在node01上启动hdfs集群start-dfs.sh
注意：如果那个节点没起来到hadoop目录下去看那个node的日志文件log
在这里插入图片描述
然后全部会话jps看一下4台机子，都起来些什么进程，像下面这些就表示你成功啦！加油o(￣▽￣)o
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

12、用浏览器访问node01:50070和node02:50070

测试一下，如果你像以下结果图一样，node01active状态，node02为standby状态，即正确。
在这里插入图片描述在这里插入图片描述

接下来就可以关闭集群了，命令：
stop-dfs.sh
在这里插入图片描述
关闭zookeeper命令：zkServer.sh stop
👍注意：下一次启动hdfs集群的时候不需要用hadoop-daemon.sh start journalnode命令启动journalnode，
只要start-dfs.sh就可以了。我们之前启动journalnode是为了同步两个namenode之间的信息。

13、为MapReduce做准备

把mapred-site.xml.template留个备份，并且改下名字

cp mapred-site.xml.template mapred-site.xml

在这里插入图片描述
在mapred-site.xml里添加如下property

<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
</property>

rm1,rm2为node03和node04
在yarn-site.xml里添加如下property

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

把mapred-site.xml和yarn-site.xml 分发到node02、03、04
在这里插入图片描述
显示100%即分发成功

由于node03和node04都是resourcemanager，所以它俩应该相互免密钥

node03上免密钥登录node04：
在node03的.ssh目录下生成密钥
cd .ssh
ssh-keygen -t dsa -P '' -f ./id_dsa
并追加到自己authorized_keys
cat id_dsa.pub >> authorized_keys
用ssh localhost验证看是否需要密码，别忘了exit
将node03 的公钥分发到node04
scp id_dsa.pub node04:pwd/node03.pub
在node04的.ssh目录下，追加node03.pub
cat node03.pub >> authorized_keys
在node03上ssh node04,看是否免密钥
node04上免密钥登录node03：
在node04的.ssh目录下生成密钥
cd .ssh
ssh-keygen -t dsa -P '' -f ./id_dsa
并追加到自己authorized_keys
cat id_dsa.pub >> authorized_keys
用ssh localhost验证看是否需要密码，别忘了exit
将node04 的公钥分发到node03
scp id_dsa.pub node03:pwd/node04.pub
在node03的.ssh目录下，追加node04.pub
cat node04.pub >> authorized_keys
在node04上ssh node03,看是否免密钥

都成功后，continue：

14、启动yarn、resourcemanager

a.启动zookeeper，全部会话zkServer.sh start
b.在node01上启动hdfs，start-dfs.sh
c.在node01上启动yarn，start-yarn.sh
d.在node03、04上分别启动resourcemanager，
yarn-daemon.sh start resourcemanager
e.全部会话jps，看进程全不全
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在浏览器访问node03:8088，查看resourcemanager管理的内容
在这里插入图片描述
Active Nodes值为3即正确

二、测试

跑一个wordcount及运行结果

a.cd /opt/nj/hadoop-2.6.5/share/hadoop/mapreduce
b.在hdfs里建立输入目录和输出目录
hdfs dfs -mkdir -p /data/in
hdfs dfs -mkdir -p /data/out
c.将要统计数据的文件上传到输入目录并查看
hdfs dfs -put ~/500miles.txt /data/in
hdfs dfs -ls /data/in
d. 运行wordcount(注意：此时的/data/out必须是空目录

hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/in /data/out/result

出现如下红色圈内部分语句，就表示你快成功了！👍
在这里插入图片描述
e.打开网址node03:8088,查看
在这里插入图片描述SUCCEEDED成功了！👍

f.查看运行结果
命令：

hdfs dfs -ls /data/out/result 
hdfs dfs -cat /data/out/result/part-r-00000

运行结果：
在这里插入图片描述
在这里插入图片描述
至此，hadoop高可用集群搭建完毕。

g、配置完成，最后关闭集群：
node01: stop-dfs.sh
node01: stop-yarn.sh (停止nodemanager)
node03,node04: yarn-daemon.sh stop resourcemanager
Node02、03、04：zkServer.sh stop

三、在Windows下配置hadoop的环境

将下面三个文件夹放到一个usr文件夹里，把usr放到一个你知道的地方。
在这里插入图片描述
“此电脑”右键-属性-高级系统设置
更改环境变量，增加HADOOP_HOME
在这里插入图片描述
并且给path后追加HADOOP_HOME的bin目录
在这里插入图片描述
然后再新建一个变量HADOOP_USER_NAME
在这里插入图片描述
把hadoop.dll拷贝到以下路径
from:
在这里插入图片描述
to:
在这里插入图片描述
安装ecipse-mars，此版本的eclipse带插件，可以可视化的看到hadoop的一些东西，比较方便
在这里插入图片描述
在这里插入图片描述
如果eclipse界面下方没有小象图标，则做后续三步调出
在这里插入图片描述在这里插入图片描述
在eclipse里把hadoop相关信息填一下
在这里插入图片描述
新建一个hadoop localtion
在这里插入图片描述
设置
起一个Location name,不要勾选Use M/R Master host
Host:查一下哪个namenode是active就填哪个(我是node01)
在这里插入图片描述
这样在eclipse左侧列表的DFS location里
新建一个目录，对应hdfs里也就建好了，可以用浏览器查看一下。

在eclipse里导入自己建一个包库
在这里插入图片描述
把jar包导入刚建的包库
在这里插入图片描述
把刚建的包库引入到project里
在这里插入图片描述
把JUnit包库引入到project里
在这里插入图片描述
利用xftp把hdfs-site.xml,core-site.xml等几个xml放到project的src目录
在这里插入图片描述
OK，大功告成！！！大家敲命令的时候一定要仔仔细细哦，可以避免很多不必要的错误~

空心菜可太好吃了
关注
  • 9
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
Hadoop集群高可用的搭建
05-31
本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High Availability）集群，以及NameNode和ResourceManager的高可用设置。 HDFS-HA的核心问题是确保数据一致性、主动/备用...
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2661
HDFS HA 高可用搭建详细图文教程
2024年最新Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）(1)，java面试核心知识
最新发布
2301_82241647的博客
05-08 411
jps是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。我们使用一下我们发现每个节点上都出先了JPS进程和QuorumPeerMain。JPS是这条命令本身拉起的进程，QuorumPeerMain则是zookeeper拉起的，那么QuorumPeerMain是什么呢？根据官方文档来看，是个入口类。用来加载myid二、Hadoop三节点搭建2.1 环境准备还是需要JDK，这个在1.2.6中已经完成。
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。
Hadoop 高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive)
m0_67821723的博客
12-08 2177
Hadoop 高可用集群完全分布式安装教程（zookeeper、spark、hbase、mysql、hive）
基于zookeeper的Hadoop集群搭建详细步骤
Helen_1997_1997的博客
02-15 2210
基于zookeeper搭建Hadoop集群
Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）
eagle89的专栏
06-28 952
​​​​。
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
Hadoop 3.0 分布式集群搭建（HA）详细文档 本资源摘要信息主要介绍了 Hadoop 3.0 分布式集群搭建的详细步骤和要求，从搭建前的准备工作到集群的安装和配置，涵盖了主机规划、软件规划、用户规划、数据目录规划、...
centos7搭建hadoop2.10高可用(HA)
01-09
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1（namenode），zkfc...
hadoop2.6.4-ha集群搭建.txt
08-09
大数据Hadoop高可用配置
HA及Cluster集群
11-08
高可用性HA及Cluster集群.doc
hadoop高可用安装搭建过程（步骤讲解）
qq_41333600的博客
06-17 528
hadoop高可用安装前期准备HADOOP HA正式部署hadoop安装方案1.分发jdk到node03，node04，node052.给node03,node04,node05分别安装jdk3.同步所有服务器的时间4.装机之前的配置文件检查5. namenode与其他三台机子的免密钥设置6.两个namenode之间相互免密钥7.修改namenode的一些配置信息8.安装zookeeper(在node03，node04，node05）1）将zookeeper的压缩包上传之后解压安装zookeeper:2)修
从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（03）——Hbase
AloneCoding的博客
06-28 420
在上一篇zookeeper集群搭建的基础上搭建hbase (https://editor.csdn.net/md/?articleId=106999738) 配置hbase-site.xml 切换到/opt/hbase/conf目录下 vi hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://192.168.109.110:9000/
HA集群基础知识
weixin_34354945的博客
04-01 131
一：HA集群是什么ha集群通俗讲就像美国的正副（主备节点）总统样，正常有正总统管理一切事物，突然如果正总统挂掉，副总统能够很快接替正总统的职责，不会出现国家没有领导的情况（也就是服务不会中断）二：HA高可用集群基本组成部分 高可用集群主要是有两个或者多个节点进行工作，从上图可知一套ha基本组成部分包括四个部分：1，位于最底层的信息和基础架构层（Messaging and I...
HA（高可用）集群详解
weixin_34292402的博客
04-21 234
HA集群的架构 图3.1 HA集群架构 1) 共享信息层 在基础架构上实现心跳信息探测。双方节点可以随时探测到对方的心跳信息，以实现对对方主机工作状态的探测。三类控制信息：心跳（Heartbeats），集群事务信息（Cluster Transition Messages），重传信息（Retransmission Request）。 配置文件：/etc/ha...
Hadoop集群的配置
qq_54542910的博客
10-19 5337
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 7993
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
搭建Hadoop HA 高可用集群——四台虚拟机（CentOS）
qq_43313215的博客
06-17 3089
搭建Hadoop HA 高可用集群——四台虚拟机（CentOS） 一、Hadoop 系统架构 1. Hadoop1.x 和Hadoop 2.x hadoop 1.x是由分布式计算框架MapReduce和分布式存储系统HDFS两个分支构成的。其中HDFS由一个Namenode和多个DateNode组成。只有一个Namenode,所有元数据由唯一的Namenode负责管理,可想而之，当这个NameNode挂掉时，整个集群基本也就不可用了。 ​ Hadoop 2.x由HDFS、MapReduce
9、hadoop高可用HA集群部署及三种方式验证
05-29
HA集群规划 在部署Hadoop高可用（HA）集群之前，首先需要进行规划。本文将以三节点的HA集群为例进行介绍，其中...通过本文提供的步骤和方法，可以帮助您快速搭建一个高可用的Hadoop集群，并确保数据的安全和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值