hadoop集群高可用的配置以及hbase的环境配置

已于 2022-07-13 15:16:06 修改
阅读量1.8k 收藏 9
点赞数 5
分类专栏： 大数据 文章标签： hadoop hbase linux
于 2022-07-12 17:41:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44899752/article/details/125746054
版权

第一步 先安装好一台虚拟机
再着修改虚拟机名称
vim /etc/hostname
在这里插入图片描述
第二步 修改ip地址，把动态地址修改为静态ip地址
1，先查看本机ip地址
在这里插入图片描述
2，修改
vim /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述
在这里插入图片描述
第三步 重启虚拟机
在这里插入图片描述
第四步 把需要的jar 上传到/opt/soft目录下
mkdir -p /opt/soft
在这里插入图片描述
2,通过xftp上传文件
在这里插入图片描述
第五步 解压上传的各个文件
在这里插入图片描述
第六步 把解压文件之后，进行重命名
mv 解压后的文件 名称 新的文件名称
重命名后的文件如下
在这里插入图片描述
第七步 配置环境变量
在这里插入图片描述
在文件中追加如下内容
在这里插入图片描述
保存退出之后，生效文件
在这里插入图片描述
第八步 开始配置hadoop文件
1）分别在hadoop-env.sh，mapred-env.sh，yarn-env.sh
文件中添加 export JAVA_HOME=/opt/soft/jdk
2)修改core-site.xml文件
在这里插入图片描述

<configuration>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master/</value>
</property>
<!-- 指定hadoop数据存储目录,自己指定 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/soft/hadoop/data</value>
</property>
<!-- 依赖zookeeper，所以指定zookeeper集群访问地址,名字为不同集群机器的hostname -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,myslave1:2181,myslave2:2181</value>
</property>
<!-- 下面的配置是为了解决以后其他组件连接HDFS集群做准备的
开始可以无需要配置-->
<property>
	<name>hadoop.proxyuser.bigdata.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.bigdata.groups</name>
	<value>*</value>
</property>
</configuration>

3）修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
在这里插入图片描述
在这里插入图片描述

<configuration>
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

<!-- 指定mapreduce的历史服务器地址和端口号 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>master:10020</value>
</property>

<!-- 指定mapreduce的web访问地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>master:19888</value>
</property>
</configuration>

4)修改slaves 文件
在这里插入图片描述在这里插入图片描述

在文本中添加如下内容
master
myslave1
myslave2
5）修改yarn-site.xml文件
在这里插入图片描述

<configuration>
<!-- 开启YARN高可用 -->
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>

<!-- 指定RM的cluster id,该value可以随意 -->
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yrc</value>
</property>

<!-- 指定RM的名字 -->
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>

<!-- 分别指定RM的地址 -->
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>master</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>myslave1</value>
</property>

<!-- 指定zookeeper集群地址 -->
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>master:2181,myslave1:2181,myslave2:2181</value>
</property>

<!-- 要运行MapReduce程序必须配置的附属服务 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- Yarn集群的聚合日志最长保留时间 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>86400</value>
</property>
<!-- 启用自动恢复 -->
<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
</property>

<!-- 指定resourcemanager的状态信息存储在zookeeper集群上 -->
<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

6）修改hdfs-site.xml文件
在这里插入图片描述

<configuration>
<!-- 指定副本的数量 -->
<property>
	<name>fs.replication</name>
	<value>2</value>
</property>
<!-- 指定hdfs的nameservice为master(在core-site.xml配置的一致) -->
<property>
	<name>dfs.nameservices</name>
	<value>master</value>
</property>
<!-- hadoopHA下面有两个Namenode，分别是nn1,nn2 -->
<property>
	<name>dfs.ha.namenodes.master</name>
	<value>nn1,nn2</value>
</property>

<!-- nn1的RPC通信地址,master为前后对应的,master是其中一个namenode地址 -->
<property>
	<name>dfs.namenode.rpc-address.master.nn1</name>
	<value>master:9000</value>
</property>
<!-- nn1的http通信地址,master为前后对应的 -->
<property>
	<name>dfs.namenode.http-address.master.nn1</name>
	<value>master:50070</value>
</property>

<!-- nn2的RPC通信地址,master为前后对应的,myslave1是其中一个namenode地址 -->
<property>
	<name>dfs.namenode.rpc-address.master.nn2</name>
	<value>myslave1:9000</value>
</property>
<!-- nn2的http通信地址,master为前后对应的 -->
<property>
	<name>dfs.namenode.http-address.master.nn2</name>
	<value>myslave1:50070</value>
</property>

<!-- 指定namenode的edits元数据在JournalNode上的存放位置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://master:8485;myslave1:8485;myslave2:8485/master</value>
</property>
<!-- 指定namenode在本地磁盘存放数据的位置
     journaldata目录自己创建并且指定
-->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/soft/hadoop/journaldata</value>
</property>

<!-- 开启NameNode失败自动切换,监控体系发现activity挂了,把备用的启用  -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

<!-- 配置失败自动切换实现方式  -->
<!-- 此处配置在安装的时候切记检查不要换行 ,注意master是上面配置的集群服务名 -->
<property>
	<name>dfs.client.failover.proxy.provider.master</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行符分隔，即每个机制暂用一行
主要是防止脑裂,确保死的彻底 -->

<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
		sshfence
		shell(/bin/true)
	</value>
</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆,注意这里是id_rsa文件地址  -->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
	<!-- 如果直接使用root,则路径为 /root/.ssh/id_rsa -->
</property>

<!-- 配置sshfence隔离机制超时时间 -->
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>

<!--  -->
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>
</configuration>

第九步 配置zookeeper 文件
1）先切换路径
在这里插入图片描述
2)修改zoo.cfg文件
在这里插入图片描述
在这里插入图片描述
修改内容如下
在这里插入图片描述
3）切换路径
在这里插入图片描述
然后创建data文件目录
在这里插入图片描述
进入data目录
在这里插入图片描述
在data目录中创建一个myid的文件
在这里插入图片描述
在myid中添加如下内容
在这里插入图片描述

到这里高可用的环境基本配置得差不多了，现在需要把master这台虚拟机克隆，选择完全克隆 分别克隆为myslave1和myslave2

在这里插入图片描述
克隆完成之后需要修改主机名称和ip地址，myid的值
1）把myslave1虚拟机启动之后 ，通过vim /etc/hostname 命名把虚拟机名称修改为myslave1
2）把myslave2虚拟机启动之后 ，通过vim /etc/hostname 命名把虚拟机名称修改为myslave2
3） 把主机myslave1 的ip地址通过vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改
在这里插入图片描述
4） 把主机myslave2 的ip地址通过vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改
在这里插入图片描述
5）把主机myslave1中zookeeper中data中的myid文件的值改为 101
6）把主机myslave2中zookeeper中data中的myid文件的值改为 102

最后把主机myslave1，主机myslave2都重启一下

reboot
嗨！耐心一点，还需要配置免密
1）在主机master上 ssh-keygen -t rsa
在这里插入图片描述
回车3次
2）把生成的密钥分别拷贝到主机和myslave1和myslave2
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

嘿！三台设备都要永久关闭防火墙
在这里插入图片描述

第十步 启动
1、分别每个机器上启动zookeeper集群（jps看到QuorumPeerMain进程）
切换带zookeeper目录
cd /opt/soft/zookeeper
再执行如下命令
bin/zkServer.sh start
然后检查集群配置是否成功，在每一台设备上都执行zkServer.sh status
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一定要确保你的集群是一个领导者，两个跟随者

2、每个机器上启动 journalnode(最好是奇数台机器)
hadoop-daemon.sh start journalnode
启动完毕后jps能看到JournalNode进程

3、在一个namenode节点上进行格式化
hdfs namenode -format
（格式化成功后在配置的data目录下，有个dfs，里面有name和data，因为没有启动集群，data是空的因为格式化后暂时没有内容）
（name中存储元数据，data存真数据）
（name下有current，下面有4个文件，就是元数据信息<fsimage…,seen_txid,VERSION>）
4、注意，在格式化后namenode的机器上找到存放数据的data目录，然后拷贝到另外一个备份的data目录下，保持初始元数据一致。
下面是例子，具体目录自己决定。
把hadoop路径里面的data远程拷贝到其他设备
scp -r data root@虚拟机ip:/opt/soft/hadoop
scp -r data root@虚拟机ip:/opt/soft/hadoop
5、在第任何一个namenode上执行zkfc -formatZK操作(#格式化zookeeper)，命令如下：
hdfs zkfc -formatZK
6、start-dfs.sh
7、start-yarn.sh
8、测试
1）分别在每个机器上jps查看状态
2）分别访问两个namenode机器上的50070界面，查看状态是否一个是Active，另外一个是Standby
3）也可以测试访问一下yarn集群
4）高可用测试，测试主备切换
（将active状态的namenode进程干掉，kill -9 xxxxid）
（可以再使用单节点启动方式启动namenode：hadoop-daemon.sh start namenode）

第十一 验证

在master主机使用jps
在这里插入图片描述
在myslave1
在这里插入图片描述
在myslave2
在这里插入图片描述
如果你的也是，恭喜你高可用配置成功

接下来配置hbase的环境
1）先切换路径
cd /opt/soft/hbase/conf
2) 配置hbase-env.sh
vim hbase-env.sh
在这里插入图片描述3)修改 regionservers 文件
vim regionservers
在这里插入图片描述
4）修改hbase-site.xml
vim hbase-site.xml
在文件中修改如下内容

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,myslave1,myslave2</value>
        </property>


</configuration>

5）最后把hbase整个文件拷贝到另外两台设备
先切换路径
cd /opt/soft
在这里插入图片描述
然后远程拷贝
在这里插入图片描述
在这里插入图片描述
最后在master主机中启动hbase
在这里插入图片描述
好了，到这里你的hbase环境就配置成功了，可以继续去喝两杯了庆祝一下了。
忘了，还要在浏览器访问测试一下
http://192.168.52.143:16010/master-status在这里插入图片描述
到了就真的结束了。。。。。

java庞
关注
专栏目录
【Hadoop高可用集群部署Hbase】
m0_65378680的博客
06-29 952
以上就是在Hadoop高可用集群中部署Hbase及对表的一些增删改查的操作，如果有什么错误欢迎指正。
Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
热门推荐
FranklySun的专栏
05-24 1万+
本文重点讲解Hbase的安装、配置、问题解决关于hadoop和zookeeper的安装配置及相关问题，可以参考：hadoop：http://blog.csdn.net/FranklySun/archive/2011/05/13/6417984.aspxzookeeper：http://blog.csdn.net/FranklySun/archive/2011/05/16/6424582.aspx测试环境三系统均为  Ubuntu11.04，分别是：frank-1(主机名:即hostname)：192.168
高可用Hadoop平台－HBase集群搭建
weixin_33974433的博客
05-19 149
1.概述 　　今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示： 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截图预览 　　那么，接下来我们开始今天的HBase集群搭建学习。 2.基础软件的准备 　　由于HBase的数据是存放在HDFS上的，所以我们在使用HBase时，确保Hado...
阶段三：项目开发---大数据开发运行环境搭建:任务6：安装配置HBase
最新发布
qq_60872637的博客
07-07 841
安装配置HBase： 安装配置HBase：无本阶段任务是安装配置HBase，实时飞行数据是保存在HBase中的，因为HBase具有高效的读写能力，在当前项目中我们是将准备好的实时飞行数据导入到HBase中的，在实际项目中飞行数据则是实时写入HBase的。
Hadoop学习笔记（8）--hbase搭建
weixin_52559562的博客
12-08 1211
Hadoop学习笔记（8）–hbase搭建 一、文件解压 cd /opt/module/ tar -zxvf hbase-2.2.0-bin.tar.gz 二、修改启动变量 系统环境变量增加 vi /etc/profile export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH:$HBASE_HOME/bin 保存系统环境变量：source /etc/profile 修改hbase变量 cd /opt/module/hbase-2.2.0
生产环境下hadoop HA集群及Hbase HA集群配置
weixin_34352005的博客
07-08 366
一、环境准备操作系统版本：centos7 64位hadoop版本：hadoop-2.7.3hbase版本：hbase-1.2.41、机器及角色IP角色192.168.11.131NamenodeDFSZKFailoverControllerResourceManagerJobhistoryHMasterQuorumPeerMain192.168.11.132NamenodeD...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群...通过规划服务器环境、选择合适的版本组合、安装和配置Zookeeper、Hadoop和HBase三个组件，可以搭建一个高效的Hadoop HA高可用集群。
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2301_79097795的博客
05-03 580
*看看本地端口9000也确实起来了。
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在搭建Hadoop集群时，我们需要配置HDFS的NameNode和DataNode，以及MapReduce的JobTracker和TaskTracker，确保节点间的通信和数据流动。 2. Zookeeper：Zookeeper是Apache的一个高性能的分布式协调服务，它为分布式...
3.基于hadoop集群搭建hbase
06-17
本文将详细介绍如何基于已有的Hadoop集群环境安装并配置HBase，以便更高效地管理与访问数据。 #### 二、HBase简介 HBase是一款构建于Hadoop之上的分布式列式存储系统，其设计灵感来源于Google的BigTable论文。HBase...
【hadoop】hbase配置
weixin_59765716的博客
12-20 1548
注：配套安装： Hadoop 3.1.3 Zookeeper3.5.7 Hbase2.2.0 一、文件解压 cd /opt/software/ tar -zxvf hbase-2.2.0-bin.tar.gz -C /opt/module/ 二、修改启动变量 系统环境变量增加 vi /etc/profile 到最下面把下面这两行代码插入进去 export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH...
Hadoop之Hbase的配置（详细步骤）
大数据
11-03 5594
前期准备 将 hadoop-2.7.6.tar.gz压缩包上传到xshell并解压 解压命令 tar -zxvfhadoop-2.7.6.tar.gz tar -zxvfhadoop-2.7.6.tar.gz 配置 1、配置 hbase-env.sh vim hbase-env.sh 在文件最后面增加 export JAVA_HOME=/home/ZQ/jdk1.8.0_271 export HBASE_MANAGES_ZK=true 2、配置 hbase-site.x..
Hbase:实验一-在Hadoop集群上配置Hbase
m0_62670963的博客
11-14 1920
1实验目的 理解HBase的基本概念； 掌握ZooKeeper集群安装步骤； 掌握HBase各种安装配置的步骤。 2实验内容 本实验是在多台安装Linux操作系统的服务器上，并且这些服务器已经安装Hadoop集群，安装分布式HBase集群，让学生掌握搭建HBase的步骤。 3实验知识点 HBase的步骤类型； ZooKeeper集群的安装部署； HBase集群分布式的安装步骤。 4. 实验时长 4学时 5. 实验环境 需要多台服务器，并且该服务器已经安装好HBase集群，并且其中...
如何搭建Hadoop高可用环境下的hbase
别人笑我太疯癫，我笑他人看不穿。
06-21 468
一、HBase的解压 解压HBase到指定目录，可自定义： tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt 二、修改HBase对应的配置文件。 1）HBase-env.sh修改内容： export JAVA_HOME=/opt/module/jdk1.8.0_144 export HBASE_MANAGES_ZK=false export HBASE_PID_DIR=/var/Hadoop/pids 2）hbase-site.xml修改内容： <configurati
Hadoop/Hbase集群配置
糖福禄禄禄
12-04 313
 - Hadoop集群安装配置 1、修改主机、配置网络，关闭防火墙，免秘钥登录 2、修改hadoop-env.sh和yarn.env.sh设置jdk的安装路径 3、核心组件core-site.xml指定namenode地址(主机名：9000），hadoop临时文件存放路径/home/hadoop/hadoopdata，指定检查点备份日志的最长时间 4、hdfs-site.xml 指定hdfs文...
Hadoop hbase的文件参数配置
Hello World
11-30 1592
environment variable # hbase 安装目录 export HBASE_HOME=/usr/local/src/hbase export PATH=$PATH:$HBASE_HOME/bin hbase-evn.sh # JAVA_HOME 为 java 程序所在位置 export JAVA_HOME=/usr/local/src/java export HADOOP_HOME=/usr/local/src/hadoop export HADOOP_CONF_DIR=${
Hbase 使用高可用 （HA）的hadoop集群，hbase.rootdir如何配置
刘本龙的专栏
07-22 1万+
文章目录问题描述解决办法 问题描述 在前面文章中搭建了高可用的hadoop集群，然后hbase使用这个集群的hdfs。但是我们d hbase.rootdir配置的仍然是写死的机器： <property> <name>hbase.rootdir</name> <value>hdfs://node1:9000/hbase&...
Hadoop Hbase分布式部署基础配置
Michael_Li的博客
03-06 881
Hadoop、Hbase分布式部署一 基础配置在这里我们默认使用一台机器作为namenode结点,另外两台机器作为datanode结点,进行分布式部署hadoop及hbase,namenode结点为master,两个datanode结点为slave1和slave2.1 创建Hadoop用户分别在三台机器中创建名为hadoop的用户,专门用于对hadoop的配置和运行.//创建用户 1 sudo u
在HadoopHA环境中搭建HBase的高可用环境
IceS的博客
12-20 261
若在HBase的log中出现大幅度的：不能连接到zookerper的master端口信息。 zookeeper.ClientCnxn: Opening socket connection to server hadoop002/192.168.2.102:2181. Will not attempt to authenticate using SASL (unknown error) 或者HBa...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

java庞

你的鼓励就是我们最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值