HBase
文章平均质量分 79
牛_plus_plus
优秀码农,play with big data
http://weibo.com/liujiaatearth
展开
-
linux cpp 使用thrift 访问HBase
1.linux 下安装thrift 2.找到Hbase.thrift文件,在HBase src下。目前可以用我放在这个目录下的。 3.thrift --gen Hbase.thrift //按服务定义文件生成client stub。gen-cpp 4.gcc -Wall -I /usr/local/include/thrift -c *.cpp -o *.o // 将gen-cpp原创 2012-02-20 11:16:33 · 3662 阅读 · 0 评论 -
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量,带压缩测试)
首先描述一下现象 最近对HDFS底层做了许多优化,包括硬件压缩卡,内存盘及SSD。 在出测试报告时发现老问题,HBase写入速度不稳定,这个大家都习以为常了吧,就是压测时,只要row size稍小一点,不管你怎么压,HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了?还有些人怀疑是不是GC拖累了? 总之网上大部分测试都是黑盒测试嘛,大家也就乱猜呗。 下面我仔原创 2012-02-20 11:33:54 · 16747 阅读 · 4 评论 -
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
首先续上篇测试: 经过上一篇文章中对代码及参数的修改,HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法,在HDFS上加上压缩卡,最后能达到的写入性能为17W行每秒(全部测试都不开Hlog)。 上篇测试内容: 详情 http://blog.csdn.net/kalaamong/article/details/72原创 2012-03-06 15:05:45 · 11524 阅读 · 4 评论 -
HBase写入性能及改造——multi-thread flush and compaction(续:详细测试数据)
接上文啊: 测试机性能 CPU 16* Intel(R) Xeon(R) CPU E5620 @ 2.40GHz MEMORY 48GB DISK 12*SATA 2TB NET 4*1Gb Ethernet 测试数据: 类型 国内某视频网站近半年用户访问日志 结构原创 2012-02-24 12:30:57 · 9983 阅读 · 2 评论 -
HBase中Bytes.compare从90到92的变化
上一篇文章中有介绍,写入压测时HBase 30%的CPU消耗在Bytes.compare()方法上。参:http://blog.csdn.net/kalaamong/article/details/7324894 写入吞吐量大约在17W每秒,当时我们使用的HBase为90.4。 然后对于Bytes.compare()方法,90.4中如下: public static int compar原创 2012-04-06 11:33:04 · 3031 阅读 · 0 评论 -
【CSDN程序员2014二月刊】HBase在内容推荐引擎系统中的应用
本文介绍了HBase于“搜狐新文客户端”推荐系统中的应用,支撑了客户端推荐系统所有线上推荐逻辑。原创 2014-03-12 10:45:39 · 3271 阅读 · 0 评论