Hbase
xiaolin_xinji
这个作者很懒,什么都没留下…
展开
-
HBase最佳实践-列族设计优化(转载)
本节重点介绍列族设计优化,HBase中基本属性都是以列族为单位进行设置的,如下示例,用户创建了一张称为‘ NewsClickFeedback’的表,表中只有一个列族’Toutiao’,紧接着的属性都是对此列族进行的设置。这些属性基本都会或多或少地影响该表的读写性能,但有些属性用户只需要理解其意义就知道如何设置,而有些属性却需要根据场景、根据业务来设置,比如BLOCKSIZE属性在不同场景下应该如何设置?还有COMPRESSION属性和DATA_BLOCK_ENCODING属性,两者都可以提供压缩功能,那转载 2020-05-20 11:22:35 · 427 阅读 · 0 评论 -
demo-Spark读取Json数据 ,通过BulkLoadd导入Hbase
通过调用Hbase API,put的方法 将大批量的数据一条一条的导入Hbase中,不仅速度慢,还存在的其他问题,如对Hbase集群造成压力,如CPU和网络资源的使用率。它更合适的应用场景是一般是线上业务运行时,记录单条插入,如报文记录,处理记录,写入后htable对象即释放。采用Spark + Bulk Load 写入 HBase批量写入数据: 优势BulkLoad 不会写 WAL,也不会...原创 2020-02-27 18:12:48 · 567 阅读 · 0 评论 -
Hbase小记--架构设计
注意点:DML 读写不经过master;DDL经过masterHMaster负责hbase的table region的管理rs的region的负载均衡region的分裂 及分裂后的region的分配rs挂的时候 region迁移HRegionServer负责数据的路由、数据读写和数据的持久化HRegionServer DN部署同一台一个RS节点包含多个region,一个re...原创 2019-12-30 11:43:35 · 138 阅读 · 0 评论