hadoop集群安装:https://blog.csdn.net/weixin_40596016/article/details/80392109
之前配置ganglia监控hadoop集群,发现cpu的负载并不是很高。所以为了节省服务器的存储成本,并提高吞吐,打算开启HBase的数据压缩。主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO。相比于gzip,Snappy压缩率不如gzip,但是压缩和解压缩速度有很大优势。而且节省cpu资源。
hadoop默认没有支持snappy压缩,需要我们自己编译 才能支持snappy的压缩。
安装包准备:
snappy-1.1.3.tar.gz
protobuf-2.5.0.tar.gz
findbugs-3.0.1.tar.gz
apache-maven-3.5.4-bin.tar.gz
hadoop-2.7.6-src.tar.gz
hadoop-snappy-master.zip