linuxheik的专栏

Hbase预分区种子生成 提前生成Hbase预分区种子，在创建Hbase表时也进行相应的预分区，同时设置预分区的个数，预分区的范围对应Hbase监控页面的Region Server的start key与End key，从而使数据能够均匀的分布于各个Region中.给捷哥赞一个~ private static final String[] PARTITIONS = generatPa

开源大数据处理引擎汇总（一） 标签： 大数据 2016-06-26 17:17 2207人阅读 评论(0) 收藏 举报  分类： BigData（1）  目录(?)[+] 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache Hbase上执行SQL

业务应用 Facebook在SIGMOD 2011会议上介绍了基于Hadoop/HBase的三种应用系统：Titan（Facebook Messages）、Puma（Facebook Insights）和ODS（Facebook Internal Metrics）。Titan主要用于用户数据存储，Puma用于MapReduce分布式计算，ODS用于存储公司内部监控数据，Facebook基于H

http://www.bi168.cn/thread-6905-1-1.html 本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoen

记录分布式服务器集群架构变化简单思路 2016-06-12 20:56 91人阅读 评论(0) 收藏 举报  分类： 软件架构（7）  目录(?)[+] 01.大型网站演化（APP） 简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 集群主要分为：高可用集群(Hi

http://www.ttlsa.com/log-system/scribe-chukwa-kafka-flume-log-system-contrast/ scribe、chukwa、kafka、flume日志系统对比 1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统

HBase学习之六: hbase的预分区设计 标签： hbase 2016-07-14 22:28 137人阅读 评论(0) 收藏 举报  分类： hbase（9）  大数据（2）  版权声明：本文为博主原创文章，未经博主允许不得转载。 背景：HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有sta

hbase建表时region预分区的方法 2015-06-05 13:43 866人阅读 评论(0) 收藏 举报  分类： hbase（6）  版权声明：本文为博主原创文章，未经博主允许不得转载。 如果知道hbase数据表的key的分布情况，就可以在建表的时候对hbase进行region的预分区。这样做的好处是防止大数据量插入的热点问题，提

一种HBase的表region切分和rowkey设计方案   (2014-05-14 14:21:56) 转载▼   分类： MYSQL/ORACLE/DB2/sybase/info 一种HBase的表region切分和rowkey设计方案 场景 HBase的region随着大小的不断变大会触发一个阈值，默认为256M，一

HBase Rowkey的散列与预分区设计       HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。简单地说

HBase表预分区 标签： HadoopHBasePre-split 2015-07-21 15:09 877人阅读 评论(0) 收藏 举报  分类： HBase（8）  版权声明：本文为博主原创文章，未经博主允许不得转载。 HBase 预分区 在创建HBase表的时候默认一张表只有一个region，所有的put操作都会往这一个

Hbase split的三种方式和split的过程 在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。tabl

Oceanbase列传 分布式与存储技术 跳至内容 首页关于郁白文章列表文章预告正在追越狱第五季 两阶段提交的工程实践 两阶段提交（2 Phase Commit简称2PC）协议是用于在多个节点之间达成一致的通信协议，它是实现“有状态的”分布式系统所必须面对的经典问题之一。本文通过对比经典2PC协议，和Google工程实践的基础上，分析一种优化延迟的2PC协议。为了方便说明