使用SNAPPY压缩遇到compression test fail问题解决

 

转载请标明出处：http://blackwing.iteye.com/blog/1943575 

 

之前为HBase增加SNAPPY压缩的一篇文章：http://blackwing.iteye.com/blog/1942037 

本以为这样hbase就能使用SNAPPY了，但发现RS的log不停报错： 

Java代码  

1. IOException: Compression algorithm 'snappy' previously failed test  

根据官方教程再做一遍：http://hbase.apache.org/book/snappy.compression.html 

还是报错，后来发现差异。服务器安装的是ubuntu 64位版本，在hadoop的lib/native/下是Linux-amd64-64文件夹，而在HBase的lib/native目录下默认却是Linux-i386-32，我就是把hadoop和snappy的native so文件拷贝到Linux-i386-32下。 

所以在hbase的lib/natvie下新建Linux-amd64-64，再把hadoop、snappy的so文件拷过来，重启hbase，再创建表： 

Java代码  

1. create 'snappy',{NAME=>'t',COMPRESSION=>'SNAPPY'}  

rs的log正常，跟着写入数据，flush后，看到已经正常压缩，rs log无错误。到此终于完整了整合snappy。 


PS:确保HBASE能正确加载codec，可以在hbase-site.xml中配置： 

Java代码  

1. <property>  
2. <name>hbase.regionserver.codecs</name>  
3. <value>snappy</value>  
4. </property>