Python：this version of libhadoop was built without snappy support

• 问题如下：项目中有hadoop集群，有的模块在写数据的时候，启用了spark的压缩格式：snappy，在读取的时候，程序解析不了snappy压缩格式的文件。this version of libhadoop was built without snappy support
• 解决方案：查阅了很多方式，都是说需要装hadoop，因为hadoop中是有snappy支持的。但是这个程序是在一个docker容器中，只为了解压一个文件而去装一个hadoop，显然是不明智的。

对于这个格式的压缩文件，理想情况是找到一种可以解压缩的程序，单独安装这个程序即可。

这里是借用了一个python模块，当然也需要系统模块的支持。

安装步骤：

# 系统依赖
yum -y install snappy-devel gcc-c++

# python库
pip3 install python-snappy

这样就可以装好snappy库了。

这个模块可以直接在命令行去解压：

# 解压缩
python -m snappy -d compress.snappy uncompress_file
# 压缩
python -m snappy -c uncompress_file compress.snappy

代码方式：

path = r"D:\test\test\part.snappy"
with open(path, 'rb')as fi, open(path.rstrip(".snappy"), 'wb')as fo:
    snappy.hadoop_stream_decompress(fi, fo)

由于我的实际场景是，文件在写入hdfs的时候被压缩，所以要调用hadoop_stream,如果本地操作，可以直接调用stream