hbase
fct2001140269
大数据架构、地理信息系统
展开
-
HBase性能优化方法总结
转载自:https://blog.csdn.net/clerk0324/article/details/53218284 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBa...转载 2018-10-02 00:08:58 · 203 阅读 · 0 评论 -
HBase的rowkey设计(含实例)
HBase的rowkey设计(含实例) 转自:http://www.aboutyun.com/thread-7119-1-1.html 对于任何系统的数据设计,我们都想提高性能,达到资源最大化利用,那么对于hbase我们产生如下问题: 1.hbase rowkey设计如何才能提高性能? 2.hbase rowkey如何设计才能散列到不同的节点上? 访问hbase table中的行,只有三种方式: ...转载 2018-11-05 00:27:43 · 2078 阅读 · 0 评论 -
HBase入库优化策略
在实际生产中使用到的HBase优化策略 一、优化Region拆分合并以及与拆分Region 1)hbase.hregion.max.filesize默认为256M(在hbase-site.xml中进行配置),当region达到这个阈值时,会自动拆分。可以把这个值设的无限大,则可以关闭HBase自动管理拆分,手动运行命令来进行region拆分,这样可以在不同的region上交错运行,分散I/O负载。...原创 2018-11-14 22:57:52 · 371 阅读 · 0 评论 -
HBase常见面试问题
1.hbase在从StoreMemery刷新到HFile时候,是否对写有影响?? memstore在不同的条件下会触发数据刷盘,那么整个数据在刷盘过程中,对region的数据写入等有什么影响?memstore的数据刷盘,对region的直接影响就是:在数据刷盘开始到结束这段时间内,该region上的访问都是被拒绝的,这里主要是因为在数据刷盘结束时,RS会对改region做一个snapshot,同时...原创 2018-11-23 23:50:33 · 903 阅读 · 0 评论 -
HBase设计原则
HBase设计原则 HBase是一个分布式数据库,其性能的好坏主要取决于内部表的设计和资源的分配是否合理。 7.1、Rowkey设计 rowkey是HBase实现分布式的基础,HBase通过rowkey范围划分不同的region,分布式系统的基本要求就是在任何时候,系统的访问都不要出现明显的热点现象,所以rowkey的设计至关重要,一般我们建议rowkey的开始部分以hash或者MD5进行散列,尽...转载 2018-11-23 23:58:23 · 593 阅读 · 0 评论