怎样将关系型数据表转换至hbase数据表

   首先须要把关系型数据库的数据表的数据添加由 “纵向延伸”，转变为HBase数据表的“横向延伸”

一、Hbase的存储结构

a)      HBase以表（HTable）的形式存储数据

b)     HTable包含非常多行，每行通过RowKey唯一标记，行依照RowKey的字典序排列。表在行的方向上切割为多个HRegion

c)      每行包含一个RowKey和多个Column Family，数据依照Column Family进行物理分割。即不同Column Family的数据放在不同的Store中。一个Column Family放在一个Strore中

d)     HRegion由多个Store组成。一个Store由物理上存在的一个MemStrore（内存中）和多个StoreFile（HFile）中

二、设计原则：

(1)rowkey

a)      rowkey是hbase的key-value存储中的key。通常使用用户要查询的字段作为rowkey ，查询结果作为value 。HBase中RowKey是依照字典序排列的

(2)Column Family的设计需遵循：

a)     不同Column Family的数据，在物理上是分开的，尽量避免一次请求须要拿到的Column分布在不同的Column Family中;

b)     CF的数量尽量要少。原因是过多的columnfamily之间会互相影响

(3) column

对于column须要扩展的应用。column可以按普通的方式设计，可是对于列相对固定的应用，最好採用将一行记录封装到一个column中的方式。这样可以节省存储空间。封装的方式推荐protocolbuffer。

三、參考样例：

（1）    Oracle关系数据表有100亿车联网监控数据

<car_id,x,y,create_at,org_id,type>当中x表示经度，y表示纬度，creat_at：创建时间。type：1表示报警点。2表示正常点，org_id：组织机构id

须要支持：a、查询指定天指定车辆的轨迹。b、下载指定天指定单位全部报警点，

给出一种hbase的表结构

rowkey	ColumnFamily
car_id+create_at+org_id+type	地点1(x,y)	地点2(x,y)

 

http://blog.csdn.net/kirayuan/article/details/7441111

http://wwwcomy.iteye.com/blog/1771285

http://www.open-open.com/lib/view/open1417612091323.html

转载于:https://www.cnblogs.com/lcchuguo/p/5278996.html