hbase
ping_hu
每天做让自己幸福的事情
展开
-
HBase的KeyValue分析
在HBase写入过程中,会检查Put中每个单元格Cell的KeyValue大小是否大于设置的maxKeyValueSize。要计算KeyValue的大小就需要了解KeyValue的的格式以及占用空间的计算方式。本文结合官方文档和源码对KeyValue的格式和空间计算进行分析和总结,便于后续继续分析HBase写入过程。原创 2017-08-12 14:17:54 · 7875 阅读 · 1 评论 -
HBase集群启动脚本流程分析
在安装HBase的时候需要配置一些参数,这些参数在HBase启动的时候发挥着怎样的作用,如何影响的HBase的运行,出现启动错误时如何快速定位错误的位置。在解决这些问题之前,先从源码的角度分析一下HBase的启动流程,了解HBase是怎么启动的。原创 2017-07-30 15:56:15 · 1534 阅读 · 0 评论 -
HBase工具之BulkLoad
使用BulkLoad是由于实际业务的需要,每个月底都需要向HBase插入大约200G的数据,接近10亿条记录。在插入过程中需要占用大量的IO资源,极大影响了现有的实时数据入库业务的效率。因此需要寻找一种替代的方案来在不影响现有业务的基础上,不占用大量集群资源,快速高效的插入大量的数据。本文主要介绍了BulkLoad的工作机制和应用,以及在使用过程中遇到的问题,最后简要分析了BulkLoad的源码步骤原创 2017-09-19 18:42:52 · 2493 阅读 · 0 评论