HBase总结

最新推荐文章于 2024-07-28 23:55:21 发布
最新推荐文章于 2024-07-28 23:55:21 发布
阅读量227 收藏
点赞数
分类专栏： 推荐系统 文章标签： hbase 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27396609/article/details/111887283
版权

HBase总结

文章目录

一 HBase简介与环境部署

1.1 HBase简介&在Hadoop生态中的地位

1.1.1 什么是HBase
  • HBase是一个分布式的、面向列的开源数据库
  • HBase是Google BigTable的开源实现
  • HBase不同于一般的关系数据库, 适合非结构化数据存储
1.1.2 BigTable
  • BigTable是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库。
    • 适合大规模海量数据，PB级数据；
    • 分布式、并发数据处理，效率极高；
    • 易于扩展，支持动态伸缩
    • 适用于廉价设备；
    • 不适用于传统关系型数据的存储；
1.1.3 面向列的数据库

  • 关系型数据库

    IDUserNamePassword
    1 Tom 123456
    2 Mike 123456

  • 列式数据库

    RowKeyColumn Family
    rk_id cf:col1=1 cf:col2=2
    rk_username cf:name1=Tom cf:name2=Mike
    rk_pwd cf:pwd1=123456 cf:pwd2=123456
1.1.4 什么是非结构化数据存储
  • 结构化数据
    • 适合用二维表来展示的数据
  • 非结构化数据
    • 非结构化数据是数据结构不规则或不完整
    • 没有预定义的数据模型
    • 不方便用数据库二维逻辑表来表现
    • 办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等
1.1.5 HBase在Hadoop生态中的地位

  • HBase是Apache基金会顶级项目

  • HBase基于HDFS进行数据存储

  • HBase可以存储超大数据并适合用来进行大数据的实时查询

    在这里插入图片描述

1.1.6 HBase与HDFS
  • HBase建立在Hadoop文件系统上, 利用了HDFS的容错能力
  • HBase提供对数据的随机实时读/写访问功能
  • HBase内部使用哈希表, 并存储索引, 可以快速查找HDFS中数据
1.1.7 HBase使用场景
  • 瞬间写入量很大
  • 大量数据需要长期保存, 且数量会持续增长
  • HBase不适合有join, 多级索引, 表关系复杂的数据模型

1.2 HBase数据存储模型&与关系型数据库的区别

1.2.1 ACID定义
  • 指数据库事务正确执行的四个基本要素的缩写
    • 原子性 A
      • 整个事务中的所有操作，要么全部完成，要么全部不完成，不可能停滞在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。
    • 一致性 C
      • 一个事务可以封装状态改变（除非它是一个只读的）。事务必须始终保持系统处于一致的状态，不管在任何给定的时间并发事务有多少。
    • 隔离性 I
      • 隔离状态执行事务，使它们好像是系统在给定时间内执行的唯一操作。如果有两个事务，运行在相同的时间内，执行相同的功能，事务的隔离性将确保每一事务在系统中认为只有该事务在使用系统。这种属性有时称为串行化，为了防止事务操作间的混淆，必须串行化或序列化请求，使得在同一时间仅有一个请求用于同一数据。
    • 持久性 D
      • 在事务完成以后，该事务对数据库所作的更改便持久的保存在数据库之中，并不会被回滚。
    • HBase
      • HBase 支持特定场景下的 ACID，即对行级别的 操作保证完全的 ACID
1.2.2 CAP定理

  • 分布式系统的最大难点，就是各个节点的状态如何同步。CAP 定理是这方面的基本定理，也是理解分布式系统的起点。

    • 一致性(所有节点在同一时间具有相同的数据)

      在这里插入图片描述

    • 可用性(保证每个请求不管成功或失败都有响应,但不保证获取的数据的正确性)

    • 分区容错性(系统中任意信息的丢失或失败不会影响系统的运行,系统如果不能在某个时限内达成数据一致性,就必须在上面两个操作之间做出选择)

    在这里插入图片描述

    • hbase是CAP中的CP系统,即hbase是强一致性的
1.2.3 Hbase表结构

  • NameSpace: 关系型数据库的"数据库"(database)

  • 表(table)：用于存储管理数据，具有稀疏的、面向列的特点。HBase中的每一张表，就是所谓的大表(Bigtable)，可以有上亿行，上百万列。对于为值为空的列，并不占用存储空间，因此表可以设计的非常稀疏。

  • 行(Row)：在表里面,每一行代表着一个数据对象,每一行都是以一个行键(Row Key)来进行唯一标识的, 行键并没有什么特定的数据类型, 以二进制的字节来存储

  • 列(Column): HBase的列由 Column family 和 Column qualifier 组成, 由冒号: 进行行间隔, 如 family: qualifier

  • 行键(RowKey)：类似于MySQL中的主键，HBase根据行键来快速检索数据，一个行键对应一条记录。与MySQL主键不同的是，HBase的行键是天然固有的，每一行数据都存在行键。

  • 列族(ColumnFamily)：是列的集合。列族在表定义时需要指定，而列在插入数据时动态指定。列中的数据都是以二进制形式存在，没有数据类型。在物理存储结构上，每个表中的每个列族单独以一个文件存储。一个表可以有多个列簇。

  • 列修饰符(Column Qualifier) : 列族中的数据通过列标识来进行映射, 可以理解为一个键值对(key-value), 列修饰符(Column Qualifier) 就是key 对应关系型数据库的列

  • 时间戳(TimeStamp)：是列的一个属性，是一个64位整数。由行键和列确定的单元格，可以存储多个数据，每个数据含有时间戳属性，数据具有版本特性。可根据版本(VERSIONS)或时间戳来指定查询历史版本数据，如果都不指定，则默认返回最新版本的数据。

  • 区域(Region)：HBase自动把表水平划分成的多个区域，划分的区域随着数据的增大而增多。

1.2.4 HBase 与 传统关系数据库的区别
HBase关系型数据库
数据库大小 PB级别 GB TB
数据类型 Bytes 丰富的数据类型
事务支持 ACID只支持单个Row级别 全面的ACID支持, 对Row和表
索引 只支持Row-key 支持
吞吐量 百万写入/秒 数千写入/秒
  • 关系型数据库中数据示例
IDFILE NAMEFILE PATHFILE TYPEFILE SIZECREATOR
1 file1.txt /home txt 1024 tom
2 file2.txt /home/pics jpg 5032 jerry
  • 同样数据保存到列式数据库中 列族:列标识符:值
RowKeyFILE INFOSAVE INFO
1 file_info:name:file1.txt
file_info:type:txt
file_info:size:1024
path:/home/pics
creator:Jerry
2 file_info:name:file2.jpg
file_info:type:jpg
file_info:size:5032
 path:/home
creator:Tom
  • 行数据库&列数据库存储方式比较

在这里插入图片描述

1.2.5 HBase 的安装

  • 解压sqoop到centos中

     tar -zxvf /hbase-1.2.0-cdh5.7.0.tar.gz -C /app/

  • 配置伪分布式环境

    • 环境变量配置

      vi ~/.bash_profile
export HBASE_HOME=/app/hbase-1.2.0-cdh5.7.0
export PATH=$HBASE_HOME/bin:$PATH
#保存退出后
source ~/.bash_profile

    • 配置hbase-env.sh

      vim /app/hbase-1.2.0-cdh5.7.0/conf/hbase-env.sh
export JAVA_HOME=/app/jdk1.8.0_271
export HBASE_MANAGES_ZK=true  
#--如果你是使用hbase自带的zk就是true，如果使用自己的zk就是false

    • 配置hbase-site.xml 在configuration中添加property

      	 vim /app/hbase-1.2.0-cdh5.7.0/conf/hbase-site.xml
    <property>
          <name>hbase.rootdir</name>　　--hbase持久保存的目录
          <value>hdfs://hadoop-master:8020/opt/hbase</value>   
    </property>
    <property>
          <name>hbase.cluster.distributed</name>  --是否是分布式
          <value>true</value>
    </property>
    <property>     
            <name>hbase.zookeeper.property.clientPort</name>    --指定要连接zk的端口
            <value>2181</value>    
    </property>    
  <property>        
              <name>hbase.zookeeper.property.dataDir</name>   
             <value>/app/hbase/zkData</value>    
    </property>

    • 启动hbase（启动的hbase的时候要保证hadoop集群已经启动）

        cd /app/hbase-1.2.0-cdh5.7.0/bin
  	./start-hbase.sh

    • 输入hbase shell（进入shell命令行）

        hbase shell

1.3 HBase 基础架构

在这里插入图片描述

1.3.1 Client
  • ①与zookeeper通信, 找到数据入口地址
  • ②使用HBase RPC机制与HMaster和HRegionServer进行通信；
  • ③Client与HMaster进行通信进行管理类操作；
  • ④Client与HRegionServer进行数据读写类操作。
1.3.2 Zookeeper
  • ①保证任何时候，集群中只有一个running master，避免单点问题；
  • ②存贮所有Region的寻址入口，包括-ROOT-表地址、HMaster地址；
  • ③实时监控Region Server的状态，将Region server的上线和下线信息，实时通知给Master；
  • ④存储Hbase的schema，包括有哪些table，每个table有哪些column family。
1.3.3 HMaster

可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行。

角色功能：

  • ①为Region server分配region；
  • ②负责region server的负载均衡；
  • ③发现失效的region serve并重新分配其上的region；
  • ④HDFS上的垃圾文件回收；
  • ⑤处理用户对表的增删改查操作。
1.3.4 HRegionServer

HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据。

作用：

  • ①维护Master分配给它的region，处理对这些region的IO请求；
  • ②负责切分在运行过程中变得过大的region。
  • 此外，HRegionServer管理一系列HRegion对象，每个HRegion对应Table中一个Region，HRegion由多个HStore组成，每个HStore对应Table中一个Column Family的存储，Column Family就是一个集中的存储单元，故将具有相同IO特性的Column放在一个Column Family会更高效。
1.3.5 HStore
  • HBase存储的核心，由MemStore和StoreFile组成。

在这里插入图片描述

  • 用户写入数据的流程为：client访问ZK, ZK返回RegionServer地址-> client访问RegionServer写入数据 -> 数据存入MemStore，一直到MemStore满 -> Flush成StoreFile
1.3.6 HRegion
  • 一个表最开始存储的时候，是一个region。
  • 一个Region中会有个多个store，每个store用来存储一个列簇。如果只有一个column family，就只有一个store。
  • region会随着插入的数据越来越多，会进行拆分。默认大小是10G一个。
1.3.7 HLog
  • 在分布式系统环境中，无法避免系统出错或者宕机，一旦HRegionServer意外退出，MemStore中的内存数据就会丢失，引入HLog就是防止这种情况。
1.3.8 HBase模块协作
  • HBase启动
    • HMaster启动, 注册到Zookeeper, 等待RegionServer汇报
    • RegionServer注册到Zookeeper, 并向HMaster汇报
    • 对各个RegionServer(包括失效的)的数据进行整理, 分配Region和meta信息
  • RegionServer失效
    • HMaster将失效RegionServer上的Region分配到其他节点
    • HMaster更新hbase: meta 表以保证数据正常访问
  • HMaster失效
    • 处于Backup状态的其他HMaster节点推选出一个转为Active状态
    • 数据能正常读写, 但是不能创建删除表, 也不能更改表结构

二 HBase实战

2.1 HBase Shell命令实战

  • HBase DDL 和 DML 命令
名称命令表达式
创建表 create '表名', '列族名1','列族名2','列族名n'
添加记录 put '表名','行名','列名:','值
查看记录 get '表名','行名'
查看表中的记录总数 count '表名'
删除记录 delete '表名', '行名','列名'
删除一张表 第一步 disable '表名' 第二步 drop '表名'
查看所有记录 scan "表名称"
查看指定表指定列所有数据 scan '表名' ,{COLUMNS=>'列族名:列名'}
更新记录 重写覆盖
  • 连接集群
hbase shell
  • 创建表
create 'user','base_info'
  • 删除表
disable 'user'
drop 'user'
  • 创建名称空间
create_namespace 'test'
  • 展示现有名称空间
list_namespace
  • 创建表的时候添加namespace
create 'test:user','base_info'
  • 显示某个名称空间下有哪些表
list_namespace_tables 'test'
  • 插入数据
put 'user','rowkey_10','base_info:username','Tom'
put 'user','rowkey_10','base_info:birthday','2014-07-10'
put 'user','rowkey_10','base_info:sex','1'
put 'user','rowkey_10','base_info:address','Tokyo'

put 'user','rowkey_16','base_info:username','Mike'
put 'user','rowkey_16','base_info:birthday','2014-07-10'
put 'user','rowkey_16','base_info:sex','1'
put 'user','rowkey_16','base_info:address','beijing'

put 'user','rowkey_22','base_info:username','Jerry'
put 'user','rowkey_22','base_info:birthday','2014-07-10'
put 'user','rowkey_22','base_info:sex','1'
put 'user','rowkey_22','base_info:address','Newyork'

put 'user','rowkey_24','base_info:username','Nico'
put 'user','rowkey_24','base_info:birthday','2014-07-10'
put 'user','rowkey_24','base_info:sex','1'
put 'user','rowkey_24','base_info:address','shanghai'

put 'user','rowkey_25','base_info:username','Rose'
put 'user','rowkey_25','base_info:birthday','2014-07-10'
put 'user','rowkey_25','base_info:sex','1'
put 'user','rowkey_25','base_info:address','Soul'
  • 查询表中的所有数据
scan 'user'
  • 查询某个rowkey的数据
get 'user','rowkey_16'
  • 查询某个列簇的数据
get 'user','rowkey_16','base_info'
get 'user','rowkey_16','base_info:username'
get 'user', 'rowkey_16', {COLUMN => ['base_info:username','base_info:sex']}
  • 删除表中的数据
delete 'user', 'rowkey_16', 'base_info:username'
  • 清空数据
truncate 'user'
  • 操作列簇
alter 'user', NAME => 'f2'
alter 'user', 'delete' => 'f2'

  • Hbase追加型数据库 会保留多个版本数据

    {NAME => 'base_info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL =>
'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
    • VERSION='1’说明最多可以显示一个版本修改数据
    put 'user','rowkey_10','base_info:username','Tom'
    • 指定显示多个版本
    get 'user','rowkey_10',{COLUMN=>'base_info:username',VERSIONS=>2}
    • 修改多个显示的版本数量
    alter 'user',NAME=>'base_info',VERSIONS=>10

  • 命令表

在这里插入图片描述

可以通过HbaseUi界面查看表的信息

端口60010打不开的情况，是因为hbase 1.0 以后的版本，需要自己手动配置，在文件 hbase-site

<property>  
<name>hbase.master.info.port</name>  
<value>60010</value>  
</property>

2.2 HBase表设计

  • 设计HBase表时需要注意的特点

    • HBase中表的索引是通过rowkey实现的
    • 在表中是通过Row key的字典顺序来对数据进行排序的, 表中Region的划分通过起始Rowkey和结束Rowkey来决定的
    • 所有存储在HBase中的数据都是二进制字节, 没有数据类型
    • 原子性只在行内保证, HBase表中没有多行事务
    • 列族(Column Family)在表创建之前就要定义好
    • 列族中的列标识(Column Qualifier)可以在表创建后动态插入数据的时候添加
    • 不同的column family保存在不同的文件中。

  • 如何设计HBase表

    • Row key的结构该如何设置, Row key中又该包含什么样的信息
    • 表中应该有多少的列族
    • 列族中应该存储什么样的数据
    • 每个列族中存储多少列数据
    • 列的名字分别是什么
    • cell中应该存储什么样的信息
    • 每个cell中存储多少个版本信息

  • DDI 目的是为了克服HBase架构上的缺陷(join繁琐 只有row key索引等)

    • Denormalization (反规范化, 解决join麻烦的问题)
    • Duplication (数据冗余)
    • Intelligent keys(通过row key设计实现 索引 排序对读写优化)

2.3 HBase表设计案例: 社交应用互粉信息表

  • 设计表保存应用中用户互粉的信息

    • 读场景:
      • 某用户都关注了哪些用户
      • 用户A有没有关注用户B
      • 谁关注了用户A
    • 写场景
      • 用户关注了某个用户
      • 用户取消关注了某个用户

  • 设计1:

    • colunm qulifier(列名) 1: 2:

    在这里插入图片描述

  • 设计2

    • 添加了一个 count 记录当前的最后一个记录的列名

    在这里插入图片描述

  • 设计3

    • 列名 user_id

    在这里插入图片描述

  • 最终设计(DDI)

    • 解决谁关注了用户A问题
      • ① 设计一张新表, 里面保存某个用户和他的粉丝
      • ② 在同一张表中同时记录粉丝列表的和用户关注的列表, 并通过Rowkey来区分
        • 01_userid: 用户关注列表
        • 02_userid: 粉丝列表
      • 上两种设计方案的问题(事务)

  • 案例总结

    • Rowkey是HBase表结构设计中很重要的环节, 直接影响到HBase的效率和性能
    • HBase的表结构比传统关系型数据库更灵活, 能存储任何二进制数据,无需考虑数据类型
    • 利用列标识(Column Qualifier)来存储数据
    • 衡量设计好坏的简单标准 是否会全表查询

三 SQL on HBase

3.1 Hive on HBase

  • HBase 用于在线业务服务, 不适合做统计分析

  • Hive 适合数据分析 统计

  • CDH5之前需要配置 CDH5之后不需要配置

  • Hive 表与HBase表之间需要建立映射关系

    CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf1:val") TBLPROPERTIES("hbase.table.name"="xyz");

    不支持load data导入数据, 要用insert 方式创建新表加载数据

    load data local inpath '/home/1.txt' overwrite into table a;
insert overwrite tabale hbase_a select * from a;

  • hive on HBase实战

    • 创建student表通过hive中创建在hbase中也会同时创建
    hive> CREATE TABLE student
(no string,
classno string,
stuno string,
score int
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES 
("hbase.columns.mapping" = ":key,stuinfo:classno,stuinfo:stuno,stuinfo:score")
TBLPROPERTIES ("hbase.table.name"="student");
    • 查看表的信息
    hbase(main):086:0> desc 'student'
    • 从之前的student2表中insert数据
    hive>
insert overwrite table student
select reverse(classno) as key,classno,stuno,score from test.student;

  • hive on HBase使用场景

    • 数据导入
    • 不适合数据分析

四 Python Hbase 开发实战

4.1HappyBase操作Hbase

  • 什么是HappyBase

    • HappyBase is a developer-friendly Python library to interact with Apache HBase. HappyBase is designed for use in standard HBase setups, and offers application developers a Pythonic API to interact with HBase. Below the surface, HappyBase uses the Python Thrift library to connect to HBase using its Thrift gateway, which is included in the standard HBase 0.9x releases.

  • HappyBase 是FaceBook员工开发的操作HBase的python库, 其基于Python Thrift, 但使用方式比Thrift简单, 已被广泛应用

  • 启动hbase thrift server : hbase-daemon.sh start thrift

  • 安装happy base

    • pip install happybase

  • 使用happy base时可能出现的问题(windows系统)

    • happybase1.0在win下不支持绝对路径
    • 解决方案：将488行的url_scheme == ”改为url_scheme in (‘代码盘符’, ”)

  • 如何使用HappyBase

    • 建立连接
    import happybase
connection = happybase.Connection('somehost')
    • 当连接建立时, 会自动创建一个与 HBase Thrift server的socket链接. 可以通过参数禁止自动链接, 然后再需要连接是调用 Connection.open():
    connection = happybase.Connection('somehost', autoconnect=False)
# before first use:
connection.open()

    print(connection.tables())
    • 操作表
      • Table类提供了大量API, 这些API用于检索和操作HBase中的数据。 在上面的示例中，我们已经使用Connection.tables（）方法查询HBase中的表。 如果还没有任何表，可使用Connection.create_table（）创建一个新表：
    connection.create_table('users',{'cf1': dict()})

    • 创建表之后可以传入表名获取到Table类的实例:

      table = connection.table('mytable')

    • 查询操作

    # api
table.scan() #全表查询
table.row(row_keys[0]) # 查询一行
table.rows(row_keys) # 查询多行
#封装函数
def show_rows(table, row_keys=None):
    if row_keys:
        print('show value of row named %s' % row_keys)
        if len(row_keys) == 1:
            print(table.row(row_keys[0]))
        else:
            print(table.rows(row_keys))
    else:
        print('show all row values of table named %s' % table.name)
        for key, value in table.scan():
            print(key, value)
    • 插入数据
    #api
table.put(row_key, {cf:cq:value})
def put_row(table, column_family, row_key, value):
    print('insert one row to hbase')
    #put 'user','rowkey_10','base_info:username','Tom'
    #{'cf:cq':’数据‘}
    table.put(row_key, {'%s:name' % column_family:'name_%s' % value})

def put_rows(table, column_family, row_lines=30):
    print('insert rows to hbase now')
    for i in range(row_lines):
        put_row(table, column_family, 'row_%s' % i, i)
    • 删除数据
    #api
table.delete(row_key, cf_list)
    
#函数封装    
def delete_row(table, row_key, column_family=None, keys=None):
    if keys:
        print('delete keys:%s from row_key:%s' % (keys, row_key))
        key_list = ['%s:%s' % (column_family, key) for key in keys]
        table.delete(row_key, key_list)
    else:
        print('delete row(column_family:) from hbase')
        table.delete(row_key)
    • 删除表
    #api
conn.delete_table(table_name, True)
#函数封装
def delete_table(table_name):
    pretty_print('delete table %s now.' % table_name)
    conn.delete_table(table_name, True)
    • 完整代码
      import happybase
  hostname = '192.168.31.137'
  table_name = 'users'
  column_family = 'cf'
  row_key = 'row_1'
  
  conn = happybase.Connection(hostname)
  
  
  def show_tables():
      print('show all tables now')
      tables = conn.tables()
      for t in tables:
          print(t)
  
  
  
  def create_table(table_name, column_family):
      print('create table %s' % table_name)
      conn.create_table(table_name, {column_family: dict()})
  
  
  def show_rows(table, row_keys=None):
      if row_keys:
          print('show value of row named %s' % row_keys)
          if len(row_keys) == 1:
              print(table.row(row_keys[0]))
  
          else:
              print(table.rows(row_keys))
  
      else:
          print('show all row values of table named %s' % table.name)
          for key, value in table.scan():
              print(key, value)
  
  
  
  def put_row(table, column_family, row_key, value):
      print('insert one row to hbase')
      table.put(row_key, {'%s:name' % column_family: 'name_%s' % value})
  
  
  def put_rows(table, column_family, row_lines=30):
      print('insert rows to hbase now')
      for i in range(row_lines):
          put_row(table, column_family, 'row_%s' % i, i)
  
  
  def delete_row(table, row_key, column_family=None, keys=None):
      if keys:
          print('delete keys:%s from row_key:%s' % (keys, row_key))
          key_list = ['%s:%s' % (column_family, key) for key in keys]
          table.delete(row_key, key_list)
      else:
          print('delete row(column_family:) from hbase')
          table.delete(row_key)
  
  
  def delete_table(table_name):
      print('delete table %s now.' % table_name)
      conn.delete_table(table_name, True)
  
  
  def pool():
      print('test pool connection now.')
      pool = happybase.ConnectionPool(size=3, host=hostname)
      with pool.connection() as connection:
          print(connection.tables())
  
  
  
  def main():
      # show_tables()
      # create_table(table_name, column_family)
      # show_tables()
      #
      table = conn.table(table_name)
      # show_rows(table)
      # put_rows(table, column_family)
      # show_rows(table)
      #
      # # 更新操作
      # put_row(table, column_family, row_key, 'xiaoh.me')
      # show_rows(table, [row_key])
      #
      # # 删除数据
      # delete_row(table, row_key)
      # show_rows(table, [row_key])
      #
      # delete_row(table, row_key, column_family, ['name'])
      # show_rows(table, [row_key])
      #
      # counter(table, row_key, column_family)
      #
      # delete_table(table_name)
  
  
  if __name__ == "__main__":
      main()

4.2 HappyBase案例

  • 用户行为分析案例 通过HBase记录用户行为

    • 建表

      create 'user_profile','action'

    • 表说明

      • user_X 作为rowkey
      • 对某件物品(用kwXXXXX关键词表示)做了什么操作作为cq,比如
        • s search
        • c click
        • a add to shopping cart
        • o order
        • p pay

    • 录入数据

    put 'user_profile', 'user1', 'action:s','kw1'
put 'user_profile', 'user1', 'action:s','kw188'
put 'user_profile', 'user1', 'action:s','kw123'

put 'user_profile', 'user1', 'action:s','kw2'
put 'user_profile', 'user1', 'action:c','kw288'
put 'user_profile', 'user1', 'action:s','kw222'

put 'user_profile', 'user1', 'action:o','kw1'

  • python代码

import happybase
class HBaseManager:

    config = {
        'BATCH_SIZE':1000
    }

    def __init__(self, host='localhost',port=9090, namespace='default', table_name=''):
        """ Connect to HBase server.
        This will use the host, namespace, table name, and batch size as defined in
        the global variables above.
        """
        self.conn = happybase.Connection(host = host,port=port,
            table_prefix = namespace,table_prefix_separator=':')
        self.conn.open()
        self.table = self.conn.table(table_name)
        self.batch = self.table.batch(batch_size = self.config['BATCH_SIZE'])

    def append_row(self,rowkey,family,col,content):
        self.table.put(rowkey, { '%s:%s' % (family,col) : content } )

    def close(self):
        self.conn.close()

    def filter_rows(self,filter=None):
        if filter:
            rs = self.table.scan(filter=filter)
            return rs
        else :
            rs = self.table.scan()
            return rs

from hbasemanager import HBaseManager
hostname = '192.168.31.137'
table_name = 'user_profile'

hbase = HBaseManager(host=hostname,namespace='default',table_name=table_name)

# hbase.append_row('rk0001','cf','name','zhang')
hbase.append_row('user1', 'action','s', 'kw1')
hbase.append_row('user1', 'action','s', 'kw188')
hbase.append_row('user1', 'action','s', 'kw123')

hbase.append_row('user2', 'action','s', 'kw2')
hbase.append_row('user2', 'action','c', 'kw288')
hbase.append_row('user2', 'action','s', 'kw222')

hbase.append_row('user1','action','o', 'kw1')

# --哪个用户通过点击广告(c)，值包含88
# scan 'user_profile', FILTER=>"ColumnPrefixFilter('c') AND ValueFilter(=,'substring:88')"
filter = "ColumnPrefixFilter('c') AND ValueFilter(=,'substring:88')"
# for user,action in hbase.filter_rows(filter):
#     print user,action

for user,action in hbase.filter_rows():
    print (user,action)

HBase使用场景

  • HBase适合做什么, 不适合做什么
    • 适合场景(大型互联网公司都用HBase)
      • 表数据量大(至少亿级别以上) 写入量大(每天千万级别以上)
      • append型业务(比如日志,聊天记录等)
      • 读取量相对少(读取:写入<=1/10)
      • 读取场景简单、不经常变化、无排序要求
      • 无跨行跨表事务要求
    • 不适合场景
      • HBase仅支持行级事务(银行业务基本不用HBase)
      • 类似DW等全量读取(hive), 不太适合
CharlesDavid_coder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 中，实现对数据集的归一化（0-1之间）
Marlon1993的博客
03-14 1万+
多数情况下，需要对数据集进行归一化处理，再对数据进行分析 #首先，引入两个库 ，numpy,sklearn from sklearn.preprocessing import MinMaxScaler import numpy as np #将csv文件导入矩阵当中 my_matrix = np.loadtxt(open("xxxx.csv"),d...
第二周周报
HaiRG的博客
10-06 693
第二周周报 数据分析 在建立模型，对数据进行训练分析之前，需要对数据的整体，有一个大概的了解，了解数据的种类，范围，缺失情况等信息，我在上一周对数据的总体情况进行了分析，以下是其中的一部分。 数据大小 数据总览 数据缺失 实战结果 在翻阅资料的过程中，我看到一个思路，就是利用数据中的贷款等级进行预测，这个思路比较的简洁明了，因此上一周我的实践就是根据这一方面进行的。 首先，我们假定，原数据所给的信用评级，一定是有其道理的，因此，我们可以利用这个评级，通过对训练集中每个评级的违约率进行统计，即可以作
Hbase简介和快速入门
最新发布
m0_37689903的博客
07-28 1194
本文首先简单介绍了Hbase的定义，逻辑结构，物理存储结构；然后详细的介绍了Hbase的安装；最后简单介绍了Hbase的shell命令操作
【C++】向量（vector） 基本使用方法及注意事项
stone8761的专栏
09-10 1829
介绍： 向量（Vector）是一个封装了动态大小数组的顺序容器（Sequence Container）。跟任意其它类型容器一样，它能够存放各种类型的对象。可以简单的认为，向量是一个能够存放任意类型的动态数组。 特点： 1.顺序序列 顺序容器中的元素按照严格的线性顺序排序。可以通过元素在序列中的位置访问对应的元素。 2.动态数组 支持对序列中的任意元素进行快速直接访问，甚至可以通过指针算述进行...
C++向量
weixin_34191734的博客
12-24 334
向量（Vectors） 转自：http://blog.chinaunix.net/space.php?uid=14534760&amp;do=blog&amp;id=2800619   1.基本操作   vector是向量类型，她是一种对象实体，具有值，所以可以看作是变量。她可以容纳许多其他类型的相同实体， 如若干个整数，所以称其为容器。Vector是C++STL（标准模板类库）的重要一员...
HBase总结.xmind
06-18
HBase是一个分布式的、可扩展的、面向列的存储系统，它是Apache软件基金会的一个开源项目，基于Google的BigTable模型构建。HBase运行在Hadoop生态系统之上，利用Hadoop的文件存储系统HDFS（Hadoop Distributed File ...
Hbase总结.docx
09-13
在HBase这种分布式列式数据库中，Rowkey的设计至关重要，因为它直接影响着数据的分布和查询效率。以下是关于HBase Rowkey设计的一些关键知识点： 1. 唯一性原则：Rowkey必须确保全局唯一，避免数据冲突。这可以通过...
HBase总结(超详细)
01-24
分数不让我设定(最好是0)包含原理概念、架构、单机安装、分布式安装，HBase的优化及Phoenixd的一点拓展知识，二叉树，B树等等。。
Hbase总结
wyht1222的博客
10-23 588
Hbase总结 （Hadoop database） 0.Hbase是什么？ (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 (2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 (3) Hbase为null的记录不会被存储. (4)基于的表包含rowkey，时间戳，和列族...
python 实现对数据集的归一化的方法(0-1之间)
09-20
今天小编就为大家分享一篇python 实现对数据集的归一化的方法(0-1之间)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
c++ vector(向量)使用方法详解(顺序访问vector的多种方式）
12-31
vector 是向量类型，它可以容纳许多类型的数据，如若干个整数，所以称其为容器。vector 是C++ STL的一个重要成员，使用它时需要包含头文件： 代码如下:#include; 一、vector 的初始化：可以有五种方式,举例说明如下： （1） vector a(10); //定义了10个整型元素的向量（尖括号中为元素类型名，它可以是任何合法的数据类型），但没有给出初值，其值是不确定的。（2）vector a(10,1); //定义了10个整型元素的向量,且给出每个元素的初值为1（3）vector a(b); //用b向量来创建a向量，整体复
C++中的向量
03-27
C++中的向量真乃神器也，什么？你还不知道，赶快来看吧
C++实现的向量运算
04-27
本程序简单的实现了向量的四则运算，基于VC++平台测试成功，希望大家下载！
C++：向量的使用
qq_34122731的博客
02-25 811
//编程实现abc.txt中的整数对向量的输入，并按照数的各位数字平方和的大小 //排序，并编写函数实现输出 #include #include #include #include using namespace std; //此处用法简洁 bool myComp(int x, int y){ int sum = 0, q; for (q = x % 10; x; x /= 10)sum += q...
C++ 向量(vector) 的使用
小牧在一直在学习,在前进的道路上大家一起学习，进步。
08-11 2512
向量(vector)是什么 向量(vector)是属于STL(Standard Template Library, 标准模板库)中的一种随机访问数组的类型. 使用的时候需要使用#include<vector> 引入,否则会报错, 向量的初始化 #include <iostream> #include <string> using namespace std; #include <vector> int main() { // 创建一个空的.
c++向量
weixin_30825581的博客
12-30 3786
https://blog.csdn.net/suxiao_shaoer/article/details/52180087 vector(向量): C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的. 用法: 1.文件包含: 首先在程序开头处加上#include以包含所需要的类文件vector 还有一...
c++中的向量_C ++中的向量
从零开始的教程世界
07-20 8046
c++中的向量A Vectors in C++ is an array-like container that can change dynamically in size. Being a part of the C++ STL, a Vector can support various dynamic array operations. C ++中的Vector是类似于数组的容器，可以动态改变...
c++中vector(向量)的用法
luckyone1111的博客
10-29 1079
vector(向量): C++中的一种数据结构,准确的说是一个类。它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的。 用法: 1.文件包含:  首先在程序开头处加上#include以包含所需要的类文件vector 还有一定要加上using namespacestd; 2.变量声明: 2.1 例:声明一个int向量以替代一维的数
hbase 删除列族下的某一列_HBase总结
06-01
要删除HBase中列族下的某一列，可以使用以下步骤： 1. 打开HBase shell，使用`disable '<table_name>'`命令禁用表格。 2. 使用`alter '<table_name>', NAME => '<column_family_name>', delete => '<column_name>'`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值