- 博客(5)
- 收藏
- 关注
RSS订阅转载 使hadoop支持Splittable压缩lzo
在hadoop中使用lzo的压缩算法可以减小数据 的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。由于压缩的数据通常只有原始数据的1/4，在HDFS中存储压缩数据，可以使集群能保存更多的数据，延长集群的使用寿命。不仅如此，由于 mapreduc
2011-06-29 13:09:00
10111
转载 netperf 与网络性能测量
在构建或管理一个网络系统时，我们更多的是关心网络的可用性，即网络是否连通，而对于其整体的性能往往考虑不多，或者即使考虑到性能的问题，但是却发现没有合适的手段去测试网络的性能。当开发出一个网络应用程序后，我们会发现，在实际的网络环境使用中，网络应用程序的使用效果不是很理想，问题可能出现在程序的开发上面，也有可能由于实际的网络环境中存在着瓶颈。面对这种问题，程序员一般会一筹莫展，原因就在于不掌握一
2011-06-20 17:39:00
6645
转载 Ganglia安装详解（CentOS_5.5_Final版）
1. 安装rrdtool 1.1. 安装依赖包 Ø 拷贝CentOS软件包 将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。 Ø 安装zlib开发包 rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm Ø 安装freetype开发包： rpm -ivh /root/CentOS/freetype-devel-
2011-06-20 17:36:00
11456
原创 HBase信息，这个博客日志写的不错，直接转链接
http://www.blogjava.net/ivanwan/archive/2011/06/09.html
2011-06-16 16:46:00
7253
转载 提升hbase性能的几个地方
1、hbase对于内存有特别的嗜好，在硬件允许的情况下配足够多的内存给它。 通过修改hbase-env.sh中的 export HBASE_HEAPSIZE=3000 #这里默认为1000m2、修改java虚拟机属性 (1)、在环境允许的情况下换64位的虚拟机 (2)、替换掉默认的垃圾回收器，因为默认的垃圾回收器在多线程环境下会有更多的wait等待 ex
2011-06-16 16:39:00
9485
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人