HBase环境搭建和使用

最新推荐文章于 2024-04-15 16:10:48 发布
最新推荐文章于 2024-04-15 16:10:48 发布
阅读量2.1k 收藏 34
点赞数 5
文章标签： 大数据 hbase zookeeper hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43622131/article/details/106743028
版权

HBase环境搭建和使用（使用了两台Centos7的虚拟机）

一.检查、安装java，设置JAVA_HOME

1.下载并解压JDK

下载地址：链接：https://pan.baidu.com/s/1OAkGjw5g2r5zkUu7h4Zqow
提取码：66jh
新建/usr/java目录

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java/

2. 配置环境变量

sudo vim ~/.bashrc

在最后加上下列内容（一定注意环境变量后面不要加空格，否则容易出问题，jdk版本号看自己的版本，如果用网盘里的就不用更改）

export JAVA_HOME=/usr/java/jdk1.8.0_161
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

下面命令使环境变量生效

source ~/.bashrc

sudo vim /etc/profile

插入下列内容（再次强调jdk的版本号）

export JAVA_HOME=/usr/java/jdk1.8.0_161
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

sudo vim /etc/environment

追加

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_161/lib:/usr/java/jdk1.8.0_161"

下面命令使配置生效

source /etc/environment

验证java环境是否配置成功

java -version

二.配置SSH免密登录

1.生成ssh-key（两台虚拟机都要生成）

ssh-keygen -t rsa -P ""

在这里插入图片描述

2.实现免密登录

主节点要给从节点发一份同时也要给自己发一份，因为只有两台机器，主节点也充当了一个从节点

ssh-copy-id -i ~/.ssh/id_rsa.pub username@192.168.x.xxx

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三.下载zookeeper、Hadoop、hbase

1.zookeeper

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

2.Hadoop

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

3.hbase

https://www.apache.org/dyn/closer.lua/hbase/2.2.4/hbase-2.2.4-bin.tar.gz

四.解压、配置zookeeper，启动，jps看状态

1.解压

tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz

在这里插入图片描述

2.配置

进入conf目录下，将zoo_sample.cfg复制一份重命名为zoo.cfg

cp zoo_sample.cfg zoo.cfg

在这里插入图片描述

配置 zoo.cfg
在这里插入图片描述
需要修改数据存放的目录，我是在zookeeper的安装目录下新建了一个data目录
在这里插入图片描述
配置文件中还需要加上各个节点的信息，如下：

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

然后需要在data目录下新建一个myid文件，里面写上自己的id号，与配置文件中的server.1、server.2、server.3相匹配

3.启动

进入bin目录
在这里插入图片描述

 ./zkServer.sh start

在这里插入图片描述
启动成功

五.解压、安装、配置hadoop，分发到其他节点，启动，jps看状态

1.解压

在这里插入图片描述

2.配置

进入hadoop安装目录
然后进入配置文件目录

cd etc/hadoop/

我们只需要用hadoop的hdfs所以只需要配置core-site.xml和hdfs-site.xml以及workers
在这里插入图片描述

配置core-site.xml
原来的文件configuration标签是空的，需要自己填
在这里插入图片描述

<configuration>
    <property>
           <name>fs.defaultFS</name>
           <value>hdfs://master/</value>
     </property>
     <property>
           <name>hadoop.tmp.dir</name>
           <value>/opt/hadoop-3.2.1/tmp</value>
     </property>
     <property>
            <name>ha.zookeeper.quorum</name>
            <value>master:2181</value>
    </property>
</configuration>

配置hdfs-site.xml
在这里插入图片描述

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
       <description>副本个数，配置默认是3,应小于datanode机器数量</description>
   </property>
</configuration>

配置workers
写上hadoop集群的主机名，一共两台虚拟机，主机名分别为master和slave1
在这里插入图片描述

3.分发

刚刚是在master上配置的hadoop，现在只需要将整个配置好的hadoop发送到slave1中即可，文件就不需要再进行配置

scp -r /opt/hadoop-3.2.1 root@slave1:/opt

4.启动

进入sbin目录
在这里插入图片描述

./start-dfs.sh

在这里插入图片描述
master节点的进程，新增了NameNode,DataNode,SecondaryNameNode
在这里插入图片描述
slave1节点的进程，新增了DataNode
在这里插入图片描述

六.解压、安装、配置hbase，分发到其他节点，启动，jps

1.解压

tar -zxvf  hbase-2.2.4-bin.tar.gz

在这里插入图片描述

2.配置

进入安装目录下的conf目录
对hbase-site.xml进行配置
在这里插入图片描述
在这里插入图片描述

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master/hbase</value>
        </property> 
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>     <property>
                <name>hbase.tmp.dir</name>
                <value>/opt/hbase-2.2.4/tmp</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master:2181</value>
        </property>
</configuration>

对regionservers进行配置
写入两个虚拟机的主机名
在这里插入图片描述

3.分发

容易使用scp命令将master中配置好的hbase发送到slave1中

scp -r /opt/hbase-2.2.4 root@slave1:/opt

4.启动

进入bin目录
在这里插入图片描述
启动hbase

./start-hbase.sh

在这里插入图片描述
此时master新增了进程HQuorumPeer，HMaster和HRegionServer
在这里插入图片描述

七.演示

进入hbase命令行

./hbase shell

在这里插入图片描述
查看集群的状态，一个主节点一个从节点，都是正常的
在这里插入图片描述
查看已经创建的表
在这里插入图片描述
查看表中的内容
在这里插入图片描述

下面在hbase创建该表
在这里插入图片描述

create 'Student','StuInfo','Grades'

在这里插入图片描述
插入数据
Student为表名，0001为行键，StuInfo:Name为列族和列的名称，中间用冒号隔开（列族名必须是已经创建的），Tom Green为该列的值，1为时间戳，如果不设置时间戳则系统会动插入当前时间为时间戳

put 'Student', '0001', 'StuInfo:Name', 'Tom Green', 1

在这里插入图片描述

put 'Student', '0001', 'StuInfo:Name', 'Tom Green', 1
put 'Student', '0001', 'StuInfo:Age', '18'
put 'Student', '0001', 'StuInfo:Sex', 'Male'
put 'Student', '0001', 'Grades:BigData', '80'
put 'Student', '0001', 'Grades:Computer', '90'
put 'Student', '0001', 'Grades:Math', '85'

将0001的其他信息写入Student表
在这里插入图片描述
查看Student表
在这里插入图片描述
筛选出0001的信息
在这里插入图片描述
筛选出0001的StuInfo列族中的信息
在这里插入图片描述
筛选出0001的StuInfo列族中Age列的值
在这里插入图片描述

独醉F
关注
  • 5
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HBase集群环境搭建
06-15
HBase集群环境搭建
HBase单机环境搭建.md
08-07
HBase单机环境搭建，基础篇
监控 体系
weixin_33676492的博客
10-13 381
## 监控的必要性> 在一个IT环境中会存在各种各样的设备，比如：硬件设备，软件设备，系统环境，运行服务。那么在这么复杂的环境下，尤其是大公司里成千上万的服务器我们如何去管理和维护呢？如何能保证公司资源的正常运转？我们通过什么手段去及时掌握基础环境和业务应用的可用性？如何获取到各组件的运行状态（如：CPU使用率，内存的使用率，硬盘的使用率，服务是否运行正常，端口是否存在...
Spark-2.3.2 HBase BulkLoad
weixin_30855099的博客
06-18 1299
在大量数据需要写入HBase时，通常有Put方式和BulkLoad两种方式。 Put不做解释。 BulkLoader方式的优势在于： 　　1、不会触发WAL预写日志，当表还没有数据时进行数据导入不会产生Flush和Split。 　　2、减少接口调用的消耗，是一种快速写入的优化方式。 但如果使用Spark操作HBase BulkLoader时，需要对数据的Qualifier按字典序排序，再...
Hbase单机版环境搭建超详细环境搭建(三台虚拟机+Xshell，不用下载zookeeper)
qq_63519278的博客
11-22 433
Hbase单机版环境搭建超详细环境搭建(三台虚拟机+Xshell，不用下载zookeeper)
hbase的HQuorumPeer和QuorumPeerMain
weixin_46376562的博客
08-10 3213
分布式的hbase如何启动？ 首先启动hadoop，然后就来问题了：zookeeper和hbase的启动顺序是什么？ 1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。 2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个QuorumPeerMain进程。 两个进程的名称不一样 HQuorumPeer表示hbase管理的zook
HBase完全分布式安装
施勇
10-31 2497
环境 Linux：Centos Linux 7.3 JDK：jdk1.8.0_181 Hadoop：2.8.5 Zookeeper：3.4.13 HBase：1.4.8 服务器 bigdata01：192.168.1.50 （主节点） bigdata02：192.168.1.51 bigdata03：192.168.1.52 安装步骤 1，下载hbase安装包hbase-1.4.8-bin.tar...
@HBase的网络页登录配置 HBase shell的基本操作
RuffianII的博客
03-17 1800
一、 HBase的网络页登录配置 先启动hadoop，jps之后应出现6个进程。 启动hbase，jps之后应至少出现8个进程。 输入hbase shell启动编辑器。 输入list查看当前数据库列表。 打开Ubuntu系统中自带的浏览器，输入http://(本机IP地址169.254.7.72，此地址要与hosts中的连接地址相对应，下面相同):60010。（如果不能启动，则有可能是防...
HBASE入门 基本shell命令（一）
weixin_43205308的博客
05-06 712
scan ‘命名空间:表名’,{STARTROW=>‘开始rowKey’,STOPROW=>‘结束RowKey’};alter ‘命名 空间:表名’,NAME=>‘列族名称’,METHOD=>‘delete’;put ‘bigdata:student’,‘主键’，‘列族名称：列’，‘数据’；get ‘命名空间:表名’,‘主键’,{COLUMN=>‘列族:列名’}alter ‘命名 空间:表名’,‘delete’=>‘列族名称’;delete ‘命名空间:表名’,‘主键’,‘列族:列名’
HBase的网络页登录配置
qq_39888535的博客
03-10 470
HBase的网络页登录配置 先启动hadoop，jps之后应出现6个进程，再启动hbase，jps之后应至少出现8个进程。 输入hbase shell启动编辑器，list指令查看当前数据库列表。 hbase的网页正常登陆，需要设置hadoop的安全模式和端口。 (1) 在已启动hadoop的系统下执行下述命令 hadoop dfsadmin -safemode leave (2) ...
hbase +hadoop集群配置
Devin's Blog
08-03 168
hadoop集群配置 集群ssh无密码访问机制 集群之间SSH无密码登陆   2.3.1 设置linux-51无密码自登陆 主要有三步：①生成公钥和私钥、②导入公钥到认证文件、③更改权限   $ ssh-keygen -t rsa -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub &gt;&gt; ~/.ssh/authorized_keys $ ...
HBase伪分布式环境搭建及数据操作测试
05-17
HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图
HBase集群环境搭建.pdf
11-16
PDF版本的HBase集群环境搭建补充上来了，有需要的小伙伴自取。
HBase单机环境搭建（超细）
08-07
一、安装前置条件说明 二、Standalone 模式 三、伪集群模式安装（Pseudo-Distributed）
databricks spark基本使用方法和讲解
最新发布
m0_46716894的博客
04-15 476
当在DataFrame上使用withColumn方法时，是在定义一个转换操作，这个操作会在DataFrame的执行计划中被添加。虽然DataFrame是建立在RDD之上的，所有DataFrame的操作最终都会转换成对RDD的操作，但从用户的角度看，withColumn是一个更高级别的抽象，专门用于结构化数据的操作。这里用withColumn之后返回了一个新的对象（rdd不可变，因此每次的操作实际上都会生成新的对象），并且调用show(),把这个对象使用掉了。：RDD的分区数决定了Spark作业的并行度。
MQ死信队列
0
04-10 540
在 RabbitMQ 中充当主角的就是消息，在不同场景下，消息会有不同地表现。1. 消息被拒绝访问，即 RabbitMQ返回 basicNack 的信号时 或者拒绝basicReject2. 消费者发生异常，超过重试次数。其实spring框架调用的就是 basicNack3. 消息的Expiration 过期时长或队列TTL过期时间。4. 消息队列达到最大容量上述场景经常产生死信，即消息在这些场景中时，被称为死信。
部署Kafka集群图文详细步骤
Huisoul的博客
04-10 639
共三台虚拟机同处overlay网段，每台虚拟机部署一套kafka和zookeeper
ELK日志分析系统之Zookeeper
AH99999的博客
04-12 793
分布式应用可以基于它实现更高级的服务，实现诸如同步服务、配置维护和集群管理或者命名的服务。Zookeeper服务自身组成一个集群，2n+1个（奇数）服务允许n个失效，集群内一半以上机器可用，Zookeeper就可用。假设 3台机器组成的集群，可以有允许一台失效，如果有2台失效，这个集群就不可用，1
hbase 伪分布式环境搭建
03-30
下面是在伪分布式环境下搭建HBase的步骤： 1. 安装Hadoop：首先需要安装Hadoop，因为HBase依赖于Hadoop的HDFS。你可以从Hadoop官方网站下载适合你操作系统的二进制包，并按照官方文档进行安装和配置。 2. 配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值