2017年08月_小狼_百度

11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 Hbase集群运维及应用性能优化总结（hbase1.20+）

（一）. 操作系统 1. 足够大的内存 2. 操作系统64位，jdk64位 3. 设置linux swap空间的swappiness=0 a1. 永久有效设置（需系统重启） sudo vim /etc/sysctl.conf 在这个文档的最后加上这样一行: 　　 v

2017-08-18 16:20:53 3658

转载 phoenix-4.8.0本地索引实现原理

1. 前言 phoenix有全局索引以及本地索引（可变与不可变等其它的且不谈），全局索引理解应该比较简单，如果让我自己去实现Hbase的索引应该想到的也是全局索引这种方式。本地索引适用于写比较频繁，储存空间受限的情况。 Local indexing targets write heavy, space constrained use cases. phoenix-4.8.

2017-08-11 16:58:14 1092

转载 phoenix-4.8.0整合hbase-1.2.0-cdh5.8.0

1. 前言 phoenix-4.8.0版本已经出了挺长一段时间了，之前一直有用开4.6版本，不过4.6版本的本地索引还不成熟，而且也存在着一些bug，在网上找到一些对旧版本的本地索引的描述 APPROACH 1 is a good start for local indexes, but I think we are not getting the full benefits fo

2017-08-11 16:53:18 1591

转载 HBase应用设计性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 [转发者注明：关于使用多线程去读取hbase全表数据，推荐先将rowkey根据线程的个数划分为多段，然后将每段 start-key ~ end-key丢给线程去执行！] 1. 表的设计 1.1 Pre-C

2017-08-10 18:41:19 1101

转载 HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

首先续上篇测试：经过上一篇文章中对代码及参数的修改，Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。上篇测试内容：详情　http://blog.csdn.net/kalaamong/article/

2017-08-09 19:05:25 847

转载 HBase写入性能及改造——multi-thread flush and compaction(续：详细测试数据)

接上文啊：测试机性能 CPU 16* Intel(R) Xeon(R) CPU E5620 @ 2.40GHz MEMORY 48GB DISK 12*SATA 2TB NET 4*1Gb Ethernet 测试数据: 类型国内某视频网站近半年用户访问日志

2017-08-09 18:44:05 496

转载 HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)

首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，Hbase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，hbase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜

2017-08-09 18:42:59 442

转载 Hbase配置项粗解

Hbase配置项粗解（1）重读Hbase文档，把所有的配置项整理一遍。 hbase.tmp.dir：本地文件系统的临时目录，默认是Java.io.tmpdir/hbase−{user.name}； hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hdfs://namenode.e

2017-08-09 15:43:21 616

转载 HBase性能调优(讲解透彻)

HBase性能调优我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据。其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解。本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章。原文链接：HBase性能调优因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到

2017-08-09 14:43:58 802

转载 hbase权威指南： store file合并（compaction）

Hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。在hbase中，主要存在两种类型的compaction：minor compaction和major compaction。 major compacti

2017-08-09 11:34:52 596