hbase
这条gai最靓的华哥
热爱大数据的一名普普通通滴97年菜鸟猿~
展开
-
HBase读写数据流程(通俗易懂)
HBase读写数据流程(通俗易懂)HBase读数据流程HBase写数据流程 HBase读数据流程 HBase读数据流程图如下: HBase读数据具体流程: (1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息。 (2)根据Rowkey在meta表中找到对应的region信息。 (3)找到这个Region对应的RegionServer。 (4)查找对应的Region。 (5)先从MemStore找数据,如果没有原创 2020-07-03 15:15:30 · 1676 阅读 · 0 评论 -
HBase优化
HBase的优化方式1、表设计2、写表3、读表 本文介绍一下HBase通过哪些方式可以达到优化。 1、表设计 (1)建表时就分区(预分区),rowkey设置定长(64字节),CF2到3个。 (2)Max Versio,Time to live,Compact&Split。 2、写表 (1)多Htable并发写,提高吞吐量。 (2)Htable参数设置,手动flush,降低IO。 (3)WriteBuffer。 (4)批量写,减少网络I/O开销。 (5)多线程并发写,结合定时flush和写buffer原创 2020-07-03 14:49:24 · 143 阅读 · 0 评论 -
HBase特点和数据模型介绍(基础)
本文目录HBase的特点HBase数据模型1、ROW KEY2、Column Family列族 & qualifier列3、Cell单元格4、Timestamp时间戳 HBase的特点 (1)大:一个表可以有上亿行,上百万列。 (2)面向列:面向列表(簇)的存储和权限控制,列(簇)独立检索。 (3)稀疏:对于为空(NULL)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 (4)无模式:每一行都有一个可以排序的主键和任意多的列,列可以根据需要动态增加,同一张表中不同的行可以有截然不同的列。原创 2020-07-04 22:39:01 · 354 阅读 · 0 评论 -
HBase介绍
HBase简介及其体系结构HBase 简介HBase体系结构1、HRegion :2、HRegionServer :3、HMaster :4、Zookeeper :5、Client : hbase客户端 HBase 简介 HBase是一个基于HDFS的面向列的分布式数据库,HDFS基于流式数据访问,低时间延迟的数据访问并不适合在HDFS上运行。因此,如果需要实时地随机访问超大规模数据集,使用则HBase是更好地选择。 HBase不支持关系型数据库的SQL,并且不是以行存储的关系型结构存储数据,而是以键值对的原创 2020-07-02 23:16:02 · 214 阅读 · 0 评论 -
HBase Shell基本操作指令
HBase Shell操作命令DDL操作命令DML操作命令 HBase Shell操作包括:DDL操作和DML操作。 DDL操作命令 HBase Shell命令 功能描述 list 列出HBase中的所有表 create 创建一张表 describe 列出表的详细信息 alter 修改表的列族 disable 禁用表,使表无效 enable 启用表,使表有效 drop 删除一张表 exists 判断表是否存在 具体操作如下: # 查詢表信息 hbase(mai原创 2020-07-01 22:09:40 · 200 阅读 · 0 评论 -
kafka上传至hbase(使用main方法)
java基本main写法:将数据从kafka->hbase1、新建hbase目录编写EventAttendeeshb java类编写UserFriendshb java类2、运行3、进入xshell 进行查看进hbase 查看表空间和表然后hbase查看 1、新建hbase目录 编写EventAttendeeshb java类 package nj.zb.hbase; import org.apache.hadoop.conf.Configuration; import org.apa原创 2020-06-01 19:10:01 · 287 阅读 · 0 评论