![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 79
牛_plus_plus
优秀码农,play with big data
http://weibo.com/liujiaatearth
展开
-
linux cpp 使用thrift 访问HBase
1.linux 下安装thrift2.找到Hbase.thrift文件,在HBase src下。目前可以用我放在这个目录下的。3.thrift --gen Hbase.thrift //按服务定义文件生成client stub。gen-cpp4.gcc -Wall -I /usr/local/include/thrift -c *.cpp -o *.o // 将gen-cpp原创 2012-02-20 11:16:33 · 3652 阅读 · 0 评论 -
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量,带压缩测试)
首先描述一下现象最近对HDFS底层做了许多优化,包括硬件压缩卡,内存盘及SSD。在出测试报告时发现老问题,HBase写入速度不稳定,这个大家都习以为常了吧,就是压测时,只要row size稍小一点,不管你怎么压,HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了?还有些人怀疑是不是GC拖累了?总之网上大部分测试都是黑盒测试嘛,大家也就乱猜呗。下面我仔原创 2012-02-20 11:33:54 · 16683 阅读 · 4 评论 -
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
首先续上篇测试:经过上一篇文章中对代码及参数的修改,HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法,在HDFS上加上压缩卡,最后能达到的写入性能为17W行每秒(全部测试都不开Hlog)。上篇测试内容:详情 http://blog.csdn.net/kalaamong/article/details/72原创 2012-03-06 15:05:45 · 11489 阅读 · 4 评论 -
HBase写入性能及改造——multi-thread flush and compaction(续:详细测试数据)
接上文啊:测试机性能CPU16* Intel(R) Xeon(R) CPU E5620 @ 2.40GHzMEMORY48GBDISK12*SATA 2TBNET 4*1Gb Ethernet测试数据:类型国内某视频网站近半年用户访问日志结构原创 2012-02-24 12:30:57 · 9939 阅读 · 2 评论 -
HBase中Bytes.compare从90到92的变化
上一篇文章中有介绍,写入压测时HBase 30%的CPU消耗在Bytes.compare()方法上。参:http://blog.csdn.net/kalaamong/article/details/7324894写入吞吐量大约在17W每秒,当时我们使用的HBase为90.4。然后对于Bytes.compare()方法,90.4中如下:public static int compar原创 2012-04-06 11:33:04 · 3018 阅读 · 0 评论 -
【CSDN程序员2014二月刊】HBase在内容推荐引擎系统中的应用
本文介绍了HBase于“搜狐新文客户端”推荐系统中的应用,支撑了客户端推荐系统所有线上推荐逻辑。原创 2014-03-12 10:45:39 · 3260 阅读 · 0 评论