NoSQL 数据库 HBase

最新推荐文章于 2023-10-13 20:00:00 发布
最新推荐文章于 2023-10-13 20:00:00 发布
阅读量245 收藏
点赞数
分类专栏： 笔记 文章标签： nosql 数据库 大数据 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48654636/article/details/109689577
版权

NoSQL 数据库 HBase

在这里插入图片描述

5.1HBase 原理

  • 既可以存储结构化数据，也可以存储非结构化数据或半结构化数据

5.1.1 HBase 概述

HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。

5.1.2 HBase 核心概念

  • HBase 是一个稀疏、多维度、有序的映射表。

表的每一行由一个或多个列族组成，一个列族中可以包含任意多个列。在同一个表模式下，每行所包含的列族是相同的，也就是说，列族的个数与名称都是相同的，但是每一行中的每个列族中列的个数可以不同，如图

在这里插入图片描述

  • 数据模型的基本概念
Table
Row
Column
ColumnFamily
ColumnQualifier
Cell
Timestamp

  1. 表（Table）

  2. 行关键字

  3. 列关键字

  4. 列族

  5. 列限定符

  6. cell(单元格)

  7. 时间戳

  • 两个视图

  1. 概念视图
    在这里插入图片描述

  2. 物理视图

在这里插入图片描述

5.1.3 HBase 的关键流程

  1. Region的分配

  2. RegionSercer 上线

  3. RegionServer 下线

  4. Master 上线

  5. Master 下线

  6. 写请求处理过程

5.2 HBase 伪分布式安装
解压
配置环境变量
配置HBase参数

5.2.1 安装 HBase 的前提条件

Hadoop 已经安装并成功启动，如图：

在这里插入图片描述

5.2.2 解压并配置环境变量

  1. 解压
tar -xvf hbase-[版本号]-bin.tar.gz

在这里插入图片描述

  1. 配置环境变量
vi /etc/profile

在这里插入图片描述

  • 使环境变量生效
source /etc/profile

在这里插入图片描述

5.2.3 配置 HBase 参数

  1. 配置hbase-env.sh
    在这里插入图片描述

  2. 配置hbase-site.xml 添加以下内容

添加以下 代码。

 <configuration>
        <property>    <!--设置的是hdfs的文件目录-->
                <name>hbase.rootdir</name>
                <value>hdfs://master:8020/hbase</value>
        </property>
        <property>    <!--集群模式，分布式true,单机模式false-->
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
         <property>    <!--zookeeper集群的URL配置-->
                <name>hbase.zookeeper.quorum</name> 
                <value>master</value>
        </property>
        
       <property>
	            <name>zookeeper.znode.parent</name>
	            <value>/hbase</value>
       </property>
       <property>
               <name>hbase.zookeeper.property.dataDir</name>
               <value>/opt/zk_data</value>
       </property>
 </configuration>

5.2.4 验证 HBase

  1. 启动HBase
conf/start-hbase.sh

在这里插入图片描述
2. 启动 hbase shell 命令

hbase shell

在这里插入图片描述

  1. 输入list (显示所有表)

在这里插入图片描述

  1. 浏览器验证 [http://192.168.9.3:16010]

在这里插入图片描述

  1. 查看 HDFS 文件系统
hadoop fs -ls   /

在这里插入图片描述

  1. HBase 进程
jps

在这里插入图片描述

以上执行全部成功则 hbase 安装完成并运行正常

5.3 HBase Shell

  • HBase 为用户提供了一个非常方便的命令行使用方式——HBase Shell。

  • HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据，列出表中的相关信息等。

5.3.1 HBase Shell 常用命令

  1. create 命令

在这里插入图片描述

  1. list 命令

在这里插入图片描述

  1. describe 命令
    在这里插入图片描述

  2. put 命令

在这里插入图片描述

  1. get 命令

在这里插入图片描述

  1. scan 命令
    在这里插入图片描述
    在这里插入图片描述

  2. count 命令
    在这里插入图片描述

  3. exists 命令
    在这里插入图片描述

  4. 修改表结构

在这里插入图片描述

  1. delete 命令

在这里插入图片描述

delete all 'scores'      //删除全部数据
  1. truncate 命令 (清空表中数据，保留表结构)
truncate 'scores'
  1. disable、drop 命令
// 彻底删除表中数据和表结构-->先disable再drop
disable 'scores'
drop  'scores'
  1. status 命令

在这里插入图片描述

  1. version 命令

在这里插入图片描述

5.3.2 HBase Shell 综合示例

  1. 根据row key 查询

在这里插入图片描述

  1. row key + 列族

在这里插入图片描述

  1. row key + 列族+列

在这里插入图片描述

  1. 查看时间戳

在这里插入图片描述

  1. 根据版本查询

在这里插入图片描述

  1. 根据时间戳查询

在这里插入图片描述

  1. 删除列

在这里插入图片描述

  1. 删除行
    在这里插入图片描述

  2. 统计记录条数

在这里插入图片描述

  1. 清空表

在这里插入图片描述

5.3.3 HBase Shell 全部命令

help //列出全部的 hbase shell 命令

general、 ddl 、namespace、 dml 、tool…

Lang-1210
关注
专栏目录
HBase NoSQL数据库详解
悦分享
10-06 1323
HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！HBase作为Google Bigtable的开源实现，Google Bigtable利用GFS作为其文件存储系统类似，则HBase利用Hadoop HDFS作为其文件存储系统；Google通过运行MapReduce来处理Bigtable中的海量数据，同样，HBase利用Hadoop
【大数据之路6】分布式 NoSQL 数据库 HBase
程序员五哥
06-09 902
关系型数据库，比如 MySQL、Oracle、SqlServer、DB2、Derby（小型 SQL 数据库）实时查询、操作数据存储的数据都是一个行级别的记录获取数据：SQL 语句MySQL 底层存储是以文件的形式非关系型数据库，比如 HBase、Redis（kv 形式，可存字符、字典、集合、映射等）、MongoDB（文档形式，最大优势可存文件）满足大数据场景下实时查询的业务需求NoSQL 存储的数据都是 key-value 类型的数据get(key)得到对应的数据。
NoSQL数据库——Hbase
weixin_47774641的博客
05-29 1357
NoSQL数据库——Hbase 1、什么叫做NoSQL数据库？ NoSQL是非关系型数据库的统称，它采用类似键/值、列族、文档等非关系模型。 2、已经有了使用这莫方便的MySQL等关系型数据库，为什莫还需要NoSQL数据库？ NoSQL数据库的产生是为了解决传统关系型数据库应对大数据的应用难题，包括大规模数据集存储、多重数据种类等方面的挑战。 常见的NoSQL数据库种类： 列族数据库：Hbase 文档数据库：mongoDB 键值数据库：Redis 图数据库：Neo4j 这里用Hbase做个简单的了解：
基于Hadoop的HBase分布式数据库（NoSQL）
weixin_44721253的博客
10-18 1397
Apache HBase 介绍 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop的HDFS之上提供了类似于Bigtable的能力。 HDFS和HBase之间的关系 HBase的全称Hadoop Database，HBase是构建在HDFS之上的一款数据存储服务，所有的物理数据都
NoSQL数据库：HBase
qq_45335413的博客
09-17 224
一、常见的NoSQL数据库？什么是HBase？ 1、常见的NoSQL数据库 Redis：基于内存，提供RDB、AOF持久化；从3.x开始，提供Redis Cluster（分布式存储，核心Hash分区） HBase：基于HDFS之上的NoSQL数据库；主从架构（HMaster、RegionServer），单点故障 列式存储 HBase HDFS 表 目录 列族 目录 数据 文件（HFile：默认大小：128M） Cassandra：列式存储、不需要HDFS；去中心化架
NoSQL 数据库之 HBase
Sunshine.wz的博客
11-07 346
文章目录HBase 简介Hadoop 生态系统HBase 数据模型HBase 架构HBase 架构图HBase 架构中各角色作用HBase 环境搭建HBase 伪分布式搭建HBase 完全分布式搭建HBase-APIDemo工具类HBase 微博案例需求ProtobufProtobuf 简介安装 Google Protocol Bufferprotobuf 的使用HBase 优化表设计写表操作读...
nosql数据库hbase
12-14
便于学习nosql,hbase的PPT，学习好材料。
基于Java开发的分布式NoSQL数据库HBase设计源码分析
最新发布
09-30
该项目为基于Java开发的分布式NoSQL数据库HBase的设计源码，包含5289个文件，涵盖各类编程语言和文件类型，其中Java源文件4465个，Ruby脚本221个，XML配置112个，Protobuf定义66个，以及少量Shell、Python、...
hbase-code-analysis:nosql数据库hbase的源码分析
03-23
《深入剖析HBase源码：探索NoSQL数据库的内在魅力》 HBase，作为Apache软件基金会的一款开源分布式列式存储系统，是构建于Hadoop文件系统之上的NoSQL数据库。它设计的目标是处理大规模的数据集，提供高吞吐量的读写...
大数据NoSQL数据库HBase集群部署
时光の尘的博客
10-13 2521
export PATH=$PATH:$HBASE_HOME/bin start-hbase.sh即在。内，所以可以无论当前目录在哪，均可直接执行。在大数据领域应用十分广泛，现在我们来在。、可扩展、支持海量数据存储的。设计为少量数据，超快检索。设计为海量数据，快速检索。执行】，修改配置文件，修改。执行】，修改配置文件，修改。执行】，修改配置文件，修改。），请确保已经完成前面。1）集群化软件前置准备（上部署HBase集群。执行】，配置环境变量。由于我们配置了环境变量。
大数据系列（五）NoSQL数据库Hbase之搭建使用
璐璐璐大大少的博客
05-11 625
目录首语Hbase简介特点和应用场景和关系型数据库的结构对比Hbase的架构体系Hbase表结构按照关系型数据库来看Hbase的表结构Hbase部署搭建下载相关的软件包Zookeeper的搭建设置时间同步解压重命名, 建立相关的目录修改配置文件创建myid启动zk集群（所有节点都需要启动）Hbase搭建解压并建立相关目录修改启动文件hbase-env.sh添加所有的region服务器到region...
分布式NoSQL列存储数据库HBASE（一）
夜归人的博客
06-25 418
分布式NoSQL列存储数据库HBASE（一） 知识点01： Redis如何保证数据的安全性？ 持久化机制：persist RDB：默认机制 思想：在一定时间周期内发生一定次数数据更新【插入、删除、修改】操作，就对整个内存中所有数据拍摄全量数据快照存储在磁盘上 实现 手动：save/bgsave 自动：save 时间 次数 优点：全量、二进制文件、更快、更小、性能更好 缺点：有一定概率出现数据丢失 应用：缓存场景，数据备份和恢复 AOF：灵活性更好：安全和性能可以自由选择 思想：按照一定
分布式NoSQL列存储数据库Hbase（一）Hbase的功能与应用场景、基本设计思想
Maynor的博客
07-24 1790
分布式NoSQL列存储数据库Hbase（一） 知识点01：课程回顾 离线项目为例 数据生成：用户访问咨询数据、意向用户报名信息、考勤信息 数据采集 Flume：实时数据采集：采集文件或者网络端口 Sqoop：离线数据同步：采集数据库的数据 数据存储 HDFS：分布式离线文件存储系统 Hive：离线数据仓库 将HDFS上的文件映射成了表的结构，让用户可以通过数据库和表的形式来管理大数据 数据计算 MapReduce+YARN：分布式离线数据计算 Hive：通过SQL进行分布式计算
HBase系列（二）NoSQL数据库简介与HBase基本简介
qq_35050438的博客
06-25 1991
文章目录NoSQL：什么是NoSQL？：NoSQL和关系型数据库对比：NoSQL的特点：NoSQL的相关概念：NoSQL分类：NoSQL和BI大数据的关系：HBase：Hbase特点：Hbase应用场景：Hbase物理架构具体划分：一：HMaster的作用：二：RegionServer的作用：三：HStore的作用：HBase逻辑架构：HBase数据管理：HBase架构特点： NoSQL： 什么是NoSQL？： not only SQL —非关系型数据库 不遵循传统RDBMS模型的数据库 数据是非关
HBase基本命令及某表无法disable或drop的处理
sanms的专栏
09-06 8778
HBase基本命令 下面我们再看看看HBase的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表                                create '表名称', '列名称1','列名称2','列名称N' 添加记录                              put '表名称', '行名称',
hbase中删除表中的行键_HBase的基本Shell操作（DDL+DML）
weixin_28692867的博客
02-23 779
目录1. 进入HBase的客户端命令行[kevin@hadoop100 hbase]$ bin/hbase shellhbase(main):001:0>// help查看帮助命令// list查看当前数据库namespace中有哪些表tips：修改删除键配置此时发现一个小问题，在XShell中，Backspace删除键用不了了，作如下修改进入到XShell 文件 –> 属性 –&gt...
hbase shell 脚本的入门使用
猎人在吃肉
09-27 1287
文章目录进入hbase shell 命令行中1、list 查看所有的表2、create 创建表3、disable、drop 删除表4、put 添加数据5、scan 查询所有数据6、delete 删除数据6.1、删除一个字段的数据6.2、删除一行的数据 进入hbase shell 命令行中 进入hbase shell 命令行中，执行 hbase shell 脚本： bash-4.4# hbas...
分布式NoSQL列存储数据库Hbase操作（二）
Maynor的博客
03-25 1537
Hbase的介绍Hbase的设计概念数据库：Namespace表：Table任何一张表，都属于某个NS在访问表时，除了default的Namespace中的表，其他所有Namespace的表在使用时，必须加上NS名称表：分布式表行：Rowkey列：column family : column，唯一标识一列支持多版本：一列中可以存储多个版本的值，通过时间戳来区分，列族级别的属性Hbase架构组成。
三大NoSQL数据库HBase、Cassandra和MongoDB大比拼
热门推荐
kwame211的博客
11-01 1万+
NoSQL是什么？NoSQL提供了新的数据管理技术，旨在应对数据数量、速度和种类与日俱增的态势。它可以存储和检索数据，能够以关系数据库中所用的表格式关系之外的方式来建立模型。 NoSQL系统又叫“Not only SQL”，强调这一事实：它们还支持类似SQL的查询语言。 我们为什么需要NoSQL？ 关系数据库面临下列挑战： 并不适用于数据类型多样化（比如图像、视频和文本）的大量（P...
nosql数据库hbase课程设计
05-19
好的，下面是一个简单的 HBase 课程设计： 1. 课程概述 在本课程设计中，我们将学习如何使用 HBase 数据库进行数据管理和操作。我们将学习如何安装和配置 HBase，如何创建表和列族，如何插入、查询和删除数据，以及如何使用 HBase 的高级功能如过滤器、计数器和扫描器等。 2. 实验环境 - 操作系统：Windows 或 Linux - Hadoop 版本：2.7.x 或更高版本 - HBase 版本：1.2.x 或更高版本 - 编程语言：Java 3. 实验内容 3.1 安装和配置 HBase 首先，我们需要下载并安装 HBase。安装过程可以参考 HBase 官方文档。安装完成后，我们需要配置 HBase 的环境变量和配置文件，使其可以正常运行。 3.2 创建表和列族 接下来，我们将学习如何使用 HBase Shell 或 Java API 创建表和列族。我们可以使用 create 命令创建表，并使用 add 命令添加列族。例如： ``` create 'test_table', 'cf1', 'cf2' ``` 这样就创建了一个名为 test_table 的表，并添加了两个列族 cf1 和 cf2。 3.3 插入、查询和删除数据 一旦表和列族创建完成，我们就可以开始向表中插入数据了。插入数据可以使用 put 命令或 Java API。例如： ``` put 'test_table', 'row1', 'cf1:col1', 'value1' ``` 这样就向 test_table 表的 row1 行的 cf1 列族的 col1 列插入了一个值为 value1 的数据。 查询数据可以使用 get 命令或 Java API。例如： ``` get 'test_table', 'row1' ``` 这样就可以查询 test_table 表的 row1 行的所有数据。 删除数据可以使用 delete 命令或 Java API。例如： ``` delete 'test_table', 'row1', 'cf1:col1' ``` 这样就可以删除 test_table 表的 row1 行的 cf1 列族的 col1 列的数据。 3.4 使用高级功能 除了基本的插入、查询和删除操作，HBase 还提供了许多高级功能，如过滤器、计数器和扫描器等。我们可以使用 HBase Shell 或 Java API 来使用这些功能。例如，使用过滤器来查询特定条件下的数据： ``` scan 'test_table', {FILTER => "ValueFilter(=,'substring:value')"} ``` 这样就可以查询 test_table 表中所有包含子串 value 的数据。 4. 实验总结 通过本次课程设计，我们学习了如何使用 HBase 进行数据管理和操作。我们学习了如何安装和配置 HBase，如何创建表和列族，如何插入、查询和删除数据，以及如何使用 HBase 的高级功能。这些知识对于日后的大数据处理和分析工作都非常重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值