hbase
文章平均质量分 62
damit_wang
这个作者很懒,什么都没留下…
展开
-
hbase存储原理
Hbase 表结构设计注意问题:见过程经验积累--数据库问题 Hbase每个cell插入时都会写入时间戳(当前系统时间)来做版本标识,在读取时如果没有指定时间戳,默认取最新时间。Hbase默认保留3个版本数据。 HBase写入原理1 客户端写入请求-->MemStore同时会写入Hlog,类似于Commit log,做数据恢复用2 MemStore满足条件后刷入Stor原创 2016-10-19 11:28:59 · 1932 阅读 · 0 评论 -
hbase表设计
1 hbase表设计思路以横向扩展为设计方向的表结构(列族中有很多列),能保持多列的原子性,因为行级有事务控制以纵向扩展为设计方向的表结构(把常用查询字段拼入rowkey),能快速查询数据,但损失原子性。实际使用中可以对rowkey用MD5加密,还可以统一长度,提高存取性能(怎么提高)可以利用列名存储数据,64位操作系统内存一次存取8个字节,rowkey最好8个字节的整数倍,尽量不超过原创 2016-10-24 11:12:50 · 331 阅读 · 0 评论 -
flink和hbase整合
有两种方式第一种,批处理模式整合,即从hbase查询数据并转为DataSet格式首先引入flink整合hbase的jar(版本号请根据实际调整) org.apache.flink flink-table_2.11 1.1.42 在resource下添加hbase-site.xml文件xml version="1.0"?>xml-style原创 2017-02-20 15:14:19 · 6717 阅读 · 0 评论