HDFS
文章平均质量分 78
牛_plus_plus
优秀码农,play with big data
http://weibo.com/liujiaatearth
展开
-
HDFS开LZO on redhat/el4/en/x86_64/
su rootwget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-2.04-1.el4.rf.x86_64.rpmwget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-devel-2原创 2012-02-20 11:17:17 · 4188 阅读 · 0 评论 -
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
首先续上篇测试:经过上一篇文章中对代码及参数的修改,HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法,在HDFS上加上压缩卡,最后能达到的写入性能为17W行每秒(全部测试都不开Hlog)。上篇测试内容:详情 http://blog.csdn.net/kalaamong/article/details/72原创 2012-03-06 15:05:45 · 11544 阅读 · 4 评论 -
HBase写入性能及改造——multi-thread flush and compaction(续:详细测试数据)
接上文啊:测试机性能CPU16* Intel(R) Xeon(R) CPU E5620 @ 2.40GHzMEMORY48GBDISK12*SATA 2TBNET 4*1Gb Ethernet测试数据:类型国内某视频网站近半年用户访问日志结构原创 2012-02-24 12:30:57 · 9999 阅读 · 2 评论 -
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量,带压缩测试)
首先描述一下现象最近对HDFS底层做了许多优化,包括硬件压缩卡,内存盘及SSD。在出测试报告时发现老问题,HBase写入速度不稳定,这个大家都习以为常了吧,就是压测时,只要row size稍小一点,不管你怎么压,HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了?还有些人怀疑是不是GC拖累了?总之网上大部分测试都是黑盒测试嘛,大家也就乱猜呗。下面我仔原创 2012-02-20 11:33:54 · 16782 阅读 · 4 评论