Hbase的伪分布式部署

已于 2023-03-03 14:56:44 修改
阅读量119 收藏
点赞数
文章标签： hbase 分布式 hadoop
于 2023-03-03 14:49:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68360881/article/details/129235886
版权

Hbase的伪分布式部署

实验要求:在Centos7系统完成JDK、Hadoop环境搭建和Hbase的伪分布式部署，并通过Web UI监控HBase运行状态

小编这里给大家把需要的软件上传到百度网盘，有需要自取哦！！！
链接：https://pan.baidu.com/s/1gEwcHtC7hbWO9BwVrfy_lA?pwd=9jqu
提取码：9jqu

HBse的伪分布式快速上手

一、关闭防火墙

1.1 查看防火墙状态

systemctl status firewalld

在这里插入图片描述

1.2 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

二、关闭selinux

2.1 查看selinux状态的命令

sestatus

2.2 临时关闭selinux，不用重启机器，命令如下:

setenforce 0

在这里插入图片描述

2.3 还可以在配置文件中永久关闭，修改完后需要重启机器生效。

打开配置文件:

vim /etc/sysconfig/selinux

2.4 修改文件，将selinux文件中需要修改的元素SELINUX设置为禁用:

SELINUX=disabled

在这里插入图片描述

三、修改主机名为node1，并配置主机名和IP地址的映射

3.1 运行一下命令修改主机名:

hostnamectl set-hostname node1

3.2 下面配制主机名与IP地址的映射。

3.2.1 打开配置文件:
vim /etc/hosts
3.2.2 在文件中添加以下配制:
主机IP地址 node1

在这里插入图片描述

四、配制SSH 免密码登录

4.1免密码登录本机，执行以下命令产生秘钥，位于/root/.ssh目录:

ssh-keygen-t rsa

在这里插入图片描述

4.2 执行以下命令，创建秘钥文件authorized_keys:

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

4.3 下面进行验证

4.3.1 执行以下命令登录主机:
ssh localhost
4.3.2 执行以下命令退出连接：
exit

在这里插入图片描述

五、安装及配置JDK1.8

5.1 检查JDK是否已安装:

java -version

5.2 如果未安装，则将下载好的jdk安装包放到系统的/usr/local目录下，然后解压安装包:

tar zxvf /usr/local/jdk-8u112-linux-x64.tar.gz  		#解压
mv /usr/local/jdk1.8.0_112 /usr/local/jdk				#更改文件目录名

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.3 设置环境变量:

vim /etc/profile
```bash
export JAVA_HOME=/usr/local/jdk
export PATH=.$JAVA_HOME/bin:$PATH

在这里插入图片描述

5.4 执行以下命令，是设置立即生效

source /etc/profile

在这里插入图片描述

六、安装及配置 Hadoop

6.1 进入Hadoop的存放目录，解压Hadoop:

tar zxvf hadoop-2.7.3.tar.gz				#解压
mv hadoop-2.7.3 hadoop						#更改文件目录名

在这里插入图片描述
在这里插入图片描述

6.2 设置环境变量:

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述

6.3 执行以下命令，使设置立即生效:

source /etc/profile

6.4 修改./etc/hadoop/hadoop-env.sh文件，配置JDK的路径:

export JAVA_HOME=/usr/local/jdk

在这里插入图片描述

6.5 修改yarn-env.sh文件，配置JDK的路径:

export JAVA_HOME=/usr/local/jdk

在这里插入图片描述

七、 修改Hadoop配置文件

7.1 进入/usr/local/hadoop/etc/hadoop目录:

cd /usr/local/hadoop/etc/hadoop

7.2修改配置文件

7.2.1 vim core-site.xml core-site.xml 设置HDFS的节点和端口号:
<configuration>
<property> 
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property> 
</configuration>

在这里插入图片描述

7.2.2vim hdfs-site.xml hdfs-site.xml 设置文件系统数据块副本数:
<configuration>
<property> 
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name> 
<value>1</value>
</property>
</configuration>

在这里插入图片描述

7.2.3vim mapred-site.xml mapred-site.xml 设置MapReduce的框架为Yarn:
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在这里插入图片描述

<configuration>
<property> 
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

在这里插入图片描述

7.2.4vim yarn-site.xml yarn-site.xml 设置NodeManager上运行的任务类型为MapReduce Shuffle任务:
<configuration>
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

在这里插入图片描述

八、格式化并启动Hadoop

8.1 格式化Hadoop文件系统

hadoop namenode -format

在这里插入图片描述

8.2 启动所有进程

start-all.sh

在这里插入图片描述

8.3 测试

jps

在这里插入图片描述

九、部署HBase伪分布式

9.1 解压安装包

tar -zxvf /usr/local/hbase-1.4.9-bin.tar.gz -C /usr/local/
mv /usr/local/hbase

在这里插入图片描述

9.2 配置环境变量

vim /etc/profile
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

在这里插入图片描述

9.3 修改配置文件

9.3.1 进入/usr/local/hbase/conf目录：
cd /usr/local/hbase/conf
9.3.2 hbase-env.sh 配置:
vim hbase-env.sh
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=true

在这里插入图片描述
在这里插入图片描述

9.3.3 hbase-site.xml 配置:
vim hbase-site.xml

<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://node1:9000/hbase</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>node1</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
</configuration>

在这里插入图片描述

9.4 启动HBase

cd /usr/local/hbase/bin
start-hbase.sh

在这里插入图片描述

9.5 JPS查看进程

jps

在这里插入图片描述

9.6 HBase Shell 登录

hbase shell

在这里插入图片描述

9.7 Web UI 登录

浏览器搜索 192.168.10.150【HMaster所在主机IP】：16010

http://192.168.10.150:16010/

在这里插入图片描述

LOGO0515
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HBase伪分布式部署
m0_56929473的博客
11-05 2217
Hbase的伪分布部署的前提是拥有一个伪分布式的Hadoop部署，且进程都存在，zookeeper使用自带的实例，下一章Hbase完全分布的时候再使用自己下载的zookeeper。 那我们开始吧！ 第一步：查看Hadoop伪分布部署的进程，进程正确后关闭Hadoop # 开启Hadoop start-all.sh #进程： 1714 Jps 1763 NodeManger 1316 DataNode 1222 ResourceManager 1612 NameNode 1454 Secondary
Hbase伪分布式部署
一珅的博客
08-31 523
Hbase伪分布式部署
Hbase伪分布搭建
m0_56181660的博客
09-19 1147
Hbase的搭建
HBase的伪分布式安装部署（超详细）
weixin_45116412的博客
04-10 2870
完成Hbase的下载、安装 Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hbase是非关系型数据库，它不要求数据之间有严格的关系，同时它允许在同一列不同行中存储不同类型的数据。Hbase作为Hadoop框架下的数据库，是被设计成在一个服务器集群上运行的。 OS：Ubuntu 16.04.6 LTSJDK...
Hbase 伪分布式安装部署
weixin_53359823的博客
07-02 437
【代码】Hbase 伪分布式安装部署。
【大数据实验】03：HBase伪分布式部署
https://blog.csdn.net/m0_74834215
04-25 3134
HBase伪分布式部署 OVERVIEWHBase伪分布式部署实验环境1.HBase单机模式安装配置2.HBase伪分布式安装部署3.HBase Shell操作4.HBase Web UI管理（1）Master节点的Web管理（2）RegionServer节点的Web管理 实验环境 硬件：ubuntu 16.04 软件：JDK-1.8、Hbase1.4、Hadoop-2.7、zookeeper3.4、idea-IC-191.7479.19 数据存放路径：~/dataset tar包路径：~/softwa
HBase伪分布式部署及JavaAPI操作
cqconelin的专栏
06-20 3462
HBase伪分布式部署及JavaAPI操作 本篇为HBase基本入门，HBase为Hadoop生态系统中的NoSql实现，所以它是最常用的形式是建立在Hadoop的HDFS上，故安装HBase前需先安装Hadoop（本篇基于Linux mint18 环境）： - Hadoop安装 Hadoop的下载 Hadoop的下载地址为：http://mirror.bit.edu.cn/apac...
Hbase伪分布式部署+zookeeper伪分布式部署
muyingmiao的专栏
11-10 735
1.zookeeper部署 [hadoop@hadoop002 conf]$ cat zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # Th...
教你如何HBase 伪分布式安装
weixin_66547608的博客
09-04 228
这个文件比较适合已经安装过的人，回顾使用，不建议新手小白使用
Hbase思维导图之逻辑结构
06-11
Hbase思维导图
【免费下载】HBase分布式数据库实验
04-15
2. **HBase伪分布式部署**： 实验的第一部分介绍了如何在Ubuntu环境下进行HBase的单机和伪分布式部署。首先，确保已安装Hadoop、JDK、HBase和Zookeeper。然后，在Hbase的`hbase-env.sh`文件中配置JAVA_HOME，并在`...
Hbase实验报告.pdf
01-05
在实际应用中，由于HBase的分布式特性，查询性能依赖于良好的Row Key设计。合理规划Row Key，可以提高数据访问速度和空间效率。此外，可以使用Scan操作进行范围查询，或通过Filter进行更复杂的过滤。 ### 6. 遇到的...
Hadoop伪分布式安装
02-02
【Hadoop伪分布式安装详解】 Hadoop，由Apache基金会开发，是一种分布式系统基础设施，旨在处理和存储大量数据。它的核心设计包含两个主要...在后续的开发和调试过程中，你可以在此基础上逐步过渡到完全分布式部署。
Hadoop伪分布式.rar
03-17
在部署Hadoop伪分布式环境时，我们首先要安装JDK，然后解压并配置Hadoop。接下来，启动NameNode、DataNode、ResourceManager和NodeManager等Hadoop服务。这些服务的启动可以通过执行Hadoop的bin目录下的脚本来完成。...
HBase 在统一内容平台业务的优化实践
vivo互联网技术
07-11 650
HBase是一款开源高可靠性、扩展性、高性能和灵活性的分布式非关系型数据库，本文围绕数据库选型以及使用HBase的痛点展开，从四个方面对HBase的使用进行优化，取得了一些不错效果。
谷粒商城实战-25-分布式组件-SpringCloud Alibaba-Nacos配置中心-加载多配置集
epitomizelu的专栏
07-10 606
多环境配置：通过 Data ID 与 profile 实现多环境配置，例如在中配置来加载不同环境的数据库配置文件。配置共享：在多个服务之间可能存在一些共享的配置，通过 Nacos 控制台配置共享 DataId，然后在应用的或中通过加载这些共享配置。
【架构】分布式与微服务架构解析
weixin_52606478的博客
07-10 1277
分布式架构与微服务
谷粒商城实战笔记-27-分布式组件-SpringCloud-Gateway-创建&测试API网关
epitomizelu的专栏
07-11 1136
本节的主要内容是创建网关模块，将网关注册到Nacos，并配置路由进行测试。
Spring Boot项目实战：短信功能分布式限流
最新发布
modelsetget的博客
07-14 95
项目中短信功能和分布式限流的深入理解

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值