HBase数据库 及 HappyBase库

最新推荐文章于 2024-07-11 10:47:04 发布
最新推荐文章于 2024-07-11 10:47:04 发布
阅读量1k 收藏 4
点赞数
分类专栏： 大数据框架 文章标签： hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45303361/article/details/106433012
版权

HBase数据库 及 HappyBase库

HBase概念

  • HBase是一个分布式的、面向列的开源数据库
  • HBase是Google BigTable的开源实现
  • HBase不同于一般的关系数据库, 适合非结构化数据存储
  • 是用来处理海量数据（PB级）快速实时读写的一种非关系型的数据库
  • 并发数据处理，效率极高；易于扩展，支持动态伸缩
  • HBase整合了Hadoop 的水平扩展能力和实时数据服务两方面的优势

在这里插入图片描述
注意：HBase没有复杂的数据类型，仅有字节型数据 Bytes 一种，因此在读写数据时注意只用encode 和 decode

在这里插入图片描述

HBase 数据模型

  • NameSpace: 关系型数据库的"数据库"(database)
  • 表(table)：用于存储管理数据，具有稀疏的、面向列的特点。HBase中的每一张表，就是所谓的大表(Bigtable)，可以有上亿行，上百万列。对于为值为空的列，并不占用存储空间，因此表可以设计的非常稀疏
  • 区域(Region)：当HBase表太大时，可将表水平划分成的多个区域，划分的区域随着数据的增大而增多

    • 行(Row)：在表里面,每一行代表着一个数据对象,每一行都是以一个行键(Row Key)来进行唯一标识的, 行键并没有什么特定的数据类型, 以二进制的字节来存储

      • 行键(RowKey)：类似于MySQL中的主键，HBase根据行键来快速检索数据，一个行键对应一条记录。与MySQL主键不同的是，HBase的行键是天然固有（创建表示不用指定RowKey列，但填入数据是必须在列数据前写入RowKey）的，每一行数据都存在行键

    • 列(Column): HBase的列由 CF:CQ 组成

      • 列族(ColumnFamily简CF)：是列的集合。列族在表定义时需要指定，而列在插入数据时动态指定。列中的数据都是以二进制形式存在，没有数据类型。在物理存储结构上，每个表中的每个列族单独以一个文件存储。一个表可以有多个列簇。
      • 列修饰符(Column Qualifier简CQ) : 列族中的数据通过列标识来进行映射, 可以理解为一个键值对(key-value), 列修饰符(CQ) 就是key 对应关系型数据库的列
      • 时间戳(TimeStamp)：是列的一个属性，是一个64位整数。由行键和列确定的单元格，可以存储多个数据，每个数据含有时间戳属性，数据具有版本特性。可根据版本(VERSIONS)或时间戳来指定查询历史版本数据，如果都不指定，则默认返回最新版本的数据

在这里插入图片描述

HBase表由RowKey和一个或者多个列族（ CF ）组成，一个列族又可包含很多列（包含列修饰符CQ和列值）
在HBase中，常用：行、列、键、单元格、值、行键、时间戳等术语描述

  • 行由很多列组成，全部由相同的行键引用
  • 列由列族和列修饰符组成，一个列族可以包含很多列
  • 单元格：一个列和行键确认一个单元格
  • 一个单元格可以有很多版本，由不同时间戳的版本来区分

HBase 原理

在这里插入图片描述

HMaster 服务器

HBase的Master服务器是集群的大脑，负责下面这些操作：

  • Region分配
  • 负载均衡
  • Regionserver恢复
  • Region分裂完成监控
  • 追踪处于活动和岩机状态的服务器
    为了达到高可用性，单个集群可以有多master 。但是只能有一个master处于活动状态，负责上面的操作
    HBase Master不会有很大的负载压力，可以安装在内存和处理器核数比较小的服务器上，但是必须稳定可靠，不宕机

RegionServer

RegionServer (RS ）是 托管并服务HBase region 以及HBase数据的应用程序。

  • 维护region 并 处理 region的读写请求
  • 决定井处理region 的分裂和合井，同时将信息报告给Maste

尽管 一个物理机上运行多个RegionServer在技术上是可行的，我们仍然建议在一个物理节点上运行一个RegionServer，并为其提供在两个服务器之间共享的资源。

表储存

在这里插入图片描述

读数据流程

当客户端第一次尝试从HBase卖取数据的时候，首先，它会连接zookeeper寻找master服务器，并在HBase: meta定位出region 的信息（它要查找的region 的位置信息以及RegionServer信息）。若后面同样的客户端请求同样的region ，所有这些连接zookeeper的过程都会被跳过，客户端直接跳到相关的RegionServer上获得数据。这就是为什么在可能的情况下，使用同一台机器执行多次操作的一个重要原因

REST Server

HBase 提供了REST Server API，通过该API客户端以及管理性操作能够被
执行。 Rest API能够通过HTTP请求直接被客户端应用或者命令行应用（如curl）调用。通过指定HTTP头文件中的Accept字段，你可以让REST server来返回不同格式
的结果。下面是相关格式：

  • text/plain (consult the warning note at the end of this chapter for more information)
  • text/xml
  • application/octet-stream
  • application/x-protobuf
最低0.47元/天 解锁文章
劫径
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
happybase查询hbase
03-10
博客配套文件，详细演示了python通过happybase查询hbase的代码使用。
python使用happybase库操作hbase
名狱的博客
10-17 4820
若想深入理解Hbase的系统架构，推荐：https://www.jianshu.com/p/479bc6308381 happybase官方文档：https://happybase.readthedocs.io/en/latest/api.html# 使用happybase库操作hbase 先安装该库 pip install happybase 然后确保 hadoop 和 hbase 可用并开启 能进行hdfs操作就代表hadoop正常运行 能在 hbase shell 下使用 list 命令并不报错就代
[194]python操作HBase之happybase
热门推荐
周小董
06-30 1万+
安装Thrift 安装Thrift的具体操作，请点击链接 pip install thrift 安装happybase pip install happybase 连接(happybase.Connection) happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=Tr...
【Python学习】happybase模块的使用
思南的博客
08-28 1220
1、安装（三选一即可） conda install -c conda-forge happybase conda install -c conda-forge/label/gcc7 happybase conda install -c conda-forge/label/cf201901 happybase 2、连接(happybase.Connection) happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnec
happyhbase: python 调用 hbase 接口包.md
hunyxv的博客
01-08 536
happyhbase 文档地址 注意： 创建 连接时注意兼容，通过参数 compat 设置兼容级别（默认 0.98， thrift 的版本）,具体看这里https://happybase.readthedocs.io/en/latest/api.html#connection import happybase import time hbase = happybase.Connection(ho...
happyhbase 基本操作和增量操作
weixin_33935777的博客
12-12 468
2019独角兽企业重金招聘Python工程师标准>>> ...
Python访问Hbase的库文件
10-18
在大数据处理的世界里，Apache HBase是一种分布式的、面向列的NoSQL数据库系统，特别适合于存储大量半结构化数据。HBase的分布式特性使其在大数据场景下表现出色，而Python作为一门强大的编程语言，其社区提供了丰富...
python3 hbase 库
09-07
Python3中的HBase库是用于与Apache HBase数据库进行交互的一种工具，它允许开发者通过Python编程语言方便地操作HBase的数据。HBase是一种分布式、版本化的NoSQL数据库，基于谷歌的Bigtable设计，广泛应用于大数据...
Python库 | google-cloud-happybase-0.23.0.tar.gz
03-07
总之，google-cloud-happybase-0.23.0是Python开发者与HBase数据库交互的强大工具。通过其丰富的API和高级特性，我们可以更高效地处理大规模数据，实现复杂的数据操作和管理任务。无论是初学者还是经验丰富的开发者...
hbase启动说明和python脚本
08-08
Python通过`happybase`库可以方便地连接和操作HBase。`happybase`是一个基于`thriftpy`的HBase Python客户端，提供了简单易用的API。使用`happybase`，我们可以创建连接、创建表、插入数据、查询数据等。 例如，一...
大数据之Hbase（四）：HappyBase操作Hbase
汪雯琦的博客
03-14 1639
文章目录5.4 HappyBase操作Hbase 5.4 HappyBase操作Hbase 什么是HappyBase HappyBase is a developer-friendly Python library to interact with Apache HBase. HappyBase is designed for use in standard HBase setups, an...
HBase-shell及happyhbase
weixin_45639174的博客
02-13 280
HappyBase操作HBase 启动HBase thrift server : hbase-daemon.sh start thrift 安装happy base pip install happybase 如何使用HappyBase 建立连接 import happybase connection = happybase.Connection('somehost') ...
Python使用HappyBase连接Hbase与基本操作
呆萌的代Ma
02-19 3073
hbase基本概念可以参考：https://www.cnblogs.com/swordfall/p/8737328.html 文章目录安装HbasePython连接Hbase1.创建、删除表结构2.增改表数据3.查看表数据4.删除表数据完整代码 安装Hbase docker安装hbase： docker pull harisekhon/hbase docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9
Pyspark实战（五）pyspark+happybase操作hbase
luoye4321的专栏
07-01 1077
Hbase环境参考上一章节 安装happybase Pip install happybase 创建test.py，代码如下： from pyspark.sql import SparkSession import happybase def hpbase(): spark = SparkSession.builder.appName('SparkHBaseRDD').mast...
基于python实现hbase工具类
lIujunXHU的博客
09-08 585
【代码】python使用happybase操作hbase工具类。
Python API(happybase)操作Hbase案例
wanglingli95的博客
03-27 1638
想要使用Python API连接HBase，需要开启HBase的Thrift服务。所以，在Linux服务器上，执行如下命令，开启HBase的Thrfit服务。链接：https://pan.baidu.com/s/14n-2XoXyxZL7hN80cNTJMw。至此启动Thrift服务并安装了HappyBase库后，即可用python代码连接HBase了。某某自来水公司，需要存储大量的缴费明细数据。HBase Thrift的端口默认在9090。贵州省铜仁市德江县7单元267室。行键（RowKey）
Hbase（5）——python用happybase操作Hbase
weixin_48445640的博客
10-14 327
首先要在jvm上开启hbase服务 并且在jvm上的9090端口开启thrift服务：hbase thrift start-port:9090 在win上的python环境中装上happybase库：pip3 install happybase 建立py文件： import happybase hostname = 'xx.xx.xx.xx' table_name = 'hbase_test:basketball1' column_family = 'Lakers' row_key = 'Califor
happyhbase
safjdfg的博客
01-04 1566
import pandas as pd import numpy as np import matplotlib.pyplot as plt import happybase plt.rcParams[‘font.sans-serif’]=[‘SimHei’] plt.rcParams[‘axes.unicode_minus’]=False def connectHBase(): # 创建和hbase的连接 connection = happybase.Connection(‘192.168.160.131
HBase 在统一内容平台业务的优化实践
最新发布
vivo互联网技术
07-11 686
HBase是一款开源高可靠性、扩展性、高性能和灵活性的分布式非关系型数据库，本文围绕数据库选型以及使用HBase的痛点展开，从四个方面对HBase的使用进行优化，取得了一些不错效果。
怎么用python连接hbase数据库
05-02
在Python中连接HBase数据库，可以使用happybase包。可以使用以下步骤： 1. 安装happybase包 ``` pip install happybase ``` 2. 导入happybase包 ```python import happybase ``` 3. 连接HBase数据库 ```python connection = happybase.Connection('hostname', port=9090) ``` 其中，'hostname'为HBase数据库所在的主机名或IP地址，port为端口号，默认为9090。 4. 创建表 ```python connection.create_table( 'table_name', { 'column_family_1': dict(), 'column_family_2': dict(max_versions=10), } ) ``` 其中，'table_name'为表名，'column_family_1'和'column_family_2'为列族名，dict()为列族选项。 5. 获取表 ```python table = connection.table('table_name') ``` 其中，'table_name'为表名。 6. 插入数据 ```python table.put( b'row_key', { b'column_family:column_name_1': b'value_1', b'column_family:column_name_2': b'value_2', } ) ``` 其中，b'row_key'为行键，b'column_family:column_name_1'和b'column_family:column_name_2'为列名，b'value_1'和b'value_2'为对应的值。 7. 获取数据 ```python row = table.row(b'row_key') ``` 其中，b'row_key'为行键。 8. 删除数据 ```python table.delete(b'row_key') ``` 其中，b'row_key'为行键。 9. 关闭连接 ```python connection.close() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值