HBase环境搭建和使用

最新推荐文章于 2024-09-16 10:34:12 发布
最新推荐文章于 2024-09-16 10:34:12 发布
阅读量2.2k 收藏 34
点赞数 5
文章标签： 大数据 hbase zookeeper hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43622131/article/details/106743028
版权

HBase环境搭建和使用（使用了两台Centos7的虚拟机）

一.检查、安装java，设置JAVA_HOME

1.下载并解压JDK

下载地址：链接：https://pan.baidu.com/s/1OAkGjw5g2r5zkUu7h4Zqow
提取码：66jh
新建/usr/java目录

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java/

2. 配置环境变量

sudo vim ~/.bashrc

在最后加上下列内容（一定注意环境变量后面不要加空格，否则容易出问题，jdk版本号看自己的版本，如果用网盘里的就不用更改）

export JAVA_HOME=/usr/java/jdk1.8.0_161
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

下面命令使环境变量生效

source ~/.bashrc

sudo vim /etc/profile

插入下列内容（再次强调jdk的版本号）

export JAVA_HOME=/usr/java/jdk1.8.0_161
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

sudo vim /etc/environment

追加

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_161/lib:/usr/java/jdk1.8.0_161"

下面命令使配置生效

source /etc/environment

验证java环境是否配置成功

java -version

二.配置SSH免密登录

1.生成ssh-key（两台虚拟机都要生成）

ssh-keygen -t rsa -P ""

在这里插入图片描述

2.实现免密登录

主节点要给从节点发一份同时也要给自己发一份，因为只有两台机器，主节点也充当了一个从节点

ssh-copy-id -i ~/.ssh/id_rsa.pub username@192.168.x.xxx

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三.下载zookeeper、Hadoop、hbase

1.zookeeper

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

2.Hadoop

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

3.hbase

https://www.apache.org/dyn/closer.lua/hbase/2.2.4/hbase-2.2.4-bin.tar.gz

四.解压、配置zookeeper，启动，jps看状态

1.解压

tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz

在这里插入图片描述

2.配置

进入conf目录下，将zoo_sample.cfg复制一份重命名为zoo.cfg

cp zoo_sample.cfg zoo.cfg

在这里插入图片描述

配置 zoo.cfg
在这里插入图片描述
需要修改数据存放的目录，我是在zookeeper的安装目录下新建了一个data目录
在这里插入图片描述
配置文件中还需要加上各个节点的信息，如下：

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

然后需要在data目录下新建一个myid文件，里面写上自己的id号，与配置文件中的server.1、server.2、server.3相匹配

3.启动

进入bin目录
在这里插入图片描述

 ./zkServer.sh start

在这里插入图片描述
启动成功

五.解压、安装、配置hadoop，分发到其他节点，启动，jps看状态

1.解压

在这里插入图片描述

2.配置

进入hadoop安装目录
然后进入配置文件目录

cd etc/hadoop/

我们只需要用hadoop的hdfs所以只需要配置core-site.xml和hdfs-site.xml以及workers
在这里插入图片描述

配置core-site.xml
原来的文件configuration标签是空的，需要自己填
在这里插入图片描述

<configuration>
    <property>
           <name>fs.defaultFS</name>
           <value>hdfs://master/</value>
     </property>
     <property>
           <name>hadoop.tmp.dir</name>
           <value>/opt/hadoop-3.2.1/tmp</value>
     </property>
     <property>
            <name>ha.zookeeper.quorum</name>
            <value>master:2181</value>
    </property>
</configuration>

配置hdfs-site.xml
在这里插入图片描述

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
       <description>副本个数，配置默认是3,应小于datanode机器数量</description>
   </property>
</configuration>

配置workers
写上hadoop集群的主机名，一共两台虚拟机，主机名分别为master和slave1
在这里插入图片描述

3.分发

刚刚是在master上配置的hadoop，现在只需要将整个配置好的hadoop发送到slave1中即可，文件就不需要再进行配置

scp -r /opt/hadoop-3.2.1 root@slave1:/opt

4.启动

进入sbin目录
在这里插入图片描述

./start-dfs.sh

在这里插入图片描述
master节点的进程，新增了NameNode,DataNode,SecondaryNameNode
在这里插入图片描述
slave1节点的进程，新增了DataNode
在这里插入图片描述

六.解压、安装、配置hbase，分发到其他节点，启动，jps

1.解压

tar -zxvf  hbase-2.2.4-bin.tar.gz

在这里插入图片描述

2.配置

进入安装目录下的conf目录
对hbase-site.xml进行配置
在这里插入图片描述
在这里插入图片描述

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master/hbase</value>
        </property> 
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>     <property>
                <name>hbase.tmp.dir</name>
                <value>/opt/hbase-2.2.4/tmp</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master:2181</value>
        </property>
</configuration>

对regionservers进行配置
写入两个虚拟机的主机名
在这里插入图片描述

3.分发

容易使用scp命令将master中配置好的hbase发送到slave1中

scp -r /opt/hbase-2.2.4 root@slave1:/opt

4.启动

进入bin目录
在这里插入图片描述
启动hbase

./start-hbase.sh

在这里插入图片描述
此时master新增了进程HQuorumPeer，HMaster和HRegionServer
在这里插入图片描述

七.演示

进入hbase命令行

./hbase shell

在这里插入图片描述
查看集群的状态，一个主节点一个从节点，都是正常的
在这里插入图片描述
查看已经创建的表
在这里插入图片描述
查看表中的内容
在这里插入图片描述

下面在hbase创建该表
在这里插入图片描述

create 'Student','StuInfo','Grades'

在这里插入图片描述
插入数据
Student为表名，0001为行键，StuInfo:Name为列族和列的名称，中间用冒号隔开（列族名必须是已经创建的），Tom Green为该列的值，1为时间戳，如果不设置时间戳则系统会动插入当前时间为时间戳

put 'Student', '0001', 'StuInfo:Name', 'Tom Green', 1

在这里插入图片描述

put 'Student', '0001', 'StuInfo:Name', 'Tom Green', 1
put 'Student', '0001', 'StuInfo:Age', '18'
put 'Student', '0001', 'StuInfo:Sex', 'Male'
put 'Student', '0001', 'Grades:BigData', '80'
put 'Student', '0001', 'Grades:Computer', '90'
put 'Student', '0001', 'Grades:Math', '85'

将0001的其他信息写入Student表
在这里插入图片描述
查看Student表
在这里插入图片描述
筛选出0001的信息
在这里插入图片描述
筛选出0001的StuInfo列族中的信息
在这里插入图片描述
筛选出0001的StuInfo列族中Age列的值
在这里插入图片描述

独醉F
关注
Hbase环境搭建--简易版
我玩的很开心的博客
06-28 1042
Hbase环境搭建 一、准备工作
HBase环境搭建及使用
cp_Mark的博客
05-07 927
涉及到的知识点： HBase的基础知识点 Hbase的环境搭建：本地模式、伪分布模式、全分布模式 常用功能：命令行操作、Java编程接口（增删改查、过滤器、MapReduce的使用） HA HBase的基础知识点 HBase是一种NoSQL数据库，即非关系型数据库。常见的NoSQL数据库有： 基于key-value模型：Redis（内存） 面向列的模型：HBase、Cassand...
hbase安装和使用
04-23
本资源为hbase的安装和使用，内含hbase安装工具包，hbase的安装说明，hbase的使用说明 。
hbase集群搭建
weixin_30919919的博客
12-09 119
在hadoop03建立master，。456建立regionservers1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 /...
大数据处理技术：HBase的安装与基本操作
茜茜西西的博客
09-16 1446
（1）Hbase数据库的安装 （2）创建表 （3）添加数据、删除数据、删除表 （4）使用Java操作HBase
HBase环境搭建与基本使用（保姆级教程）
tangyi2008的专栏
01-20 5588
HBase是一个基于Hadoop的分布式列族数据库，该产品源于Google的《BigTable》论文，它弥补了HDFS不能实时和随机读写等缺陷，支持数十亿行和数据百万列的大表。 本文对HBase做了简单的介绍，并详细介绍了HBase2.x的安装过程和简单使用，希望对您有所帮助。
HBase的集群搭建和使用
风流小子的专栏
11-11 594
1. HBase简介      HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利    用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
HBase部署与使用
weixin_30919571的博客
05-30 255
HBase部署与使用 概述 HBase的角色 HMaster 功能： 监控RegionServer 处理RegionSe...
大数据存储:HBase环境搭建与基本操作指南
最新发布
11-11
内容概要：本文档详尽介绍了HBase数据库从环境准备、软件下载、配置设置到基本命令使用的全部流程。其中包括HBase对Hadoop的依赖关系、正确的下载与解压缩方法、重要的配置参数以及具体的操作实例如创建、插入、查询...
HBase集群环境搭建
06-15
HBase集群环境搭建是大数据技术中的一个重要环节，本文将详细介绍HBase集群环境搭建的步骤和配置过程。以下是HBase集群环境搭建的详细信息： 一、集群规划 在HBase集群环境搭建中，需要首先规划集群的架构。这里，...
zookeeper+hbase集群搭建
04-15
在本文中，我们将深入探讨如何搭建一个Zookeeper和HBase集群，以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件，Zookeeper作为一个分布式协调服务，而HBase是一个基于...
【大数据工具】HBase 集群搭建与基本使用
程序员五哥
06-07 651
（3）修改 regionservers（存放的 region server 的 hostname）（Hadoop2 和 Hadoop3 就一块启动了）（2）修改 hbase-site.xml。（1）修改 hbase-env.sh。使用 FileZilla 将。上传至 Hadoop0 的。，并重命名解压后的文件夹。（5）配置从节点环境变量。
hbase环境搭建及使用
fanghailiang2016的博客
07-08 142
conf/hbase-env.sh export JAVA_HOME=/data/home/software/jdk1.8.0_202 export HBASE_MANAGES_ZK=false hbase-site.xml <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/mustafa/.hadoop/hbase/tmp</v
Hbase环境搭建与使用
m0_75227189的博客
05-10 289
适用于学者
HBase环境搭建与使用
微信公众号: 后端码匠
05-10 692
环境 hadoop集群 zookeeper单机 hbase单机 开发环境可以关注 “后端码匠” 回复 电脑环境 获取 ，也可自行下载，也很快的，另外可加群讨论???? 环境变量 #JAVA_HOME export JAVA_HOME=/usr/java/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #HADOOP_HOME
6.4实训任务 HBase的搭建与使用
c_lanxiaofang的博客
05-09 1427
前期准备： 1、检测Java安装环境 java -version 2、检测Hadoop安装环境 hadoop version 3、进入hadoop 的 /home/bigdata/Opt/hadoop-2.10.1/sbin 目录后： cd /home/bigdata/Opt/hadoop-2.10.1/sbin 4、启动 start-dfs.sh 服务 start-dfs.sh 5、查看启动的服务 jps 1、官网下载HBase Apache
HBase搭建
weixin_44624060的博客
07-04 263
HBase搭建 1、启动hadoop start-all.sh 验证 http://master:50070 2、启动zookeeper 需要在在三台中分别启动 zkServer.sh start zkServer.sh status 搭建hbase 1、上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz 2、修改hbase-env.sh文件 增加java配置 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 关闭
HBASE搭建
肖肖的博客
09-27 376
HBASE的搭建 搭建方式：独立模式、伪分布式、完全分布式 实际上，您需要完全分布式配置才能完全测试 HBase 并在实际场景中使用它。在分布式配置中，群集包含多个节点，每个节点运行一个或多个 HBase 守护程序。其中包括主要和备用 Master，多个 Zookeeper 节点和多个 RegionServer 节点。 1、配置四台主机免密钥 2、将 hbase 解压到 node1 的/opt 3、在/etc/profile 中配置 HBASE_HOME，并将 HBase 的 bin 目录添加到 PA
Hbase的搭建
HR的博客
08-22 1572
Hbase的搭建 Hbase的伪分布式搭建 配置hbase-env.sh文件 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true //使用hbase自带的zookeeper 配置hbase-site.xml文件 <property> <name>hbase.cluster.distributed</name> <value>true</va
HBase分布式环境搭建与配置详解
在开始Hbase环境搭建前，确保已经完成了全分布式环境的搭建以及Zookeeper的安装。Zookeeper作为一个协调服务，对Hbase的集群管理和数据一致性起着关键作用。Hbase利用Zookeeper来管理元数据，选举Master节点，以及...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值