压缩算法Snappy-1.1.10和压缩工具Snzip的安装和使用

前言

最近导师让复现Snzip工具。该工具基于谷歌的Snappy算法。是从snappy-1.1.10到snzip安装各种报错,花了几天时间解决了,特此记录一下。

1-Snappy-1.1.10的安装

最新版本的Snappy据官方描述是进一步提高了性能,为此安装新版本Snappy-1.1.10。clone或者下载再解压缩,然后开始以下步骤:

1.下载benchmark和googletest包

不装这两个包会报错。下载官方benchmarkgoogletest包到**/snappy-1.1.10/third_party/**下,取代初始的两个空文件夹benchmark和googletest,名字改成同样的。

2.编译

gcc 4.8版本不支持编译googletest库,到后面make的时候会报错,见issue。有个问题是我这边gcc --version显示5.5.0,而shell里显示的编译信息是4.8。
后来发现应该在**/snappy-1.1.10/CMakeLists.txt**内指定你的新版gcc的路径。在CMakeLists.txt的开头加上一下两句话即可:

set(CMAKE_C_COMPILER "/xxx/.../gcc-5.5.0/bin/gcc")	#这里路径改成自己的
set(CMAKE_CXX_COMPILER "/xxx/../gcc-5.5.0/bin/g++")

这么做之后在make的时候就不会报错了。
然后就按序执行以下命令:

mkdir build && cd build
cmake ../
make

最后在build目录内生成静态库libsnappy.a,snappy安装完成。

2-压缩工具Snzip的安装及使用

根据官方写的步骤,先执行命令

cd snzip
./autogen.sh
./configure
make
make install

但是在./configure配置的时候有个大坑,要把上一步生成的libsnappy.a静态库放到**snappy-1.1.10/build/lib/**文件夹内,不然Snzip识别不到。移动后,配置命令为:

./configure --with-snappy=/xxx/.../snappy-1.1.10/build --with-static-snappy

后面就没什么了。
具体使用见:

snzip -h

总结

这个bug前前后后修了蛮久,反正就是根据error试吧。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce是一种用于处理大规模数据集的并行计算框架,它可将任务分解为多个子任务,并在分布式系统中进行并行处理。在MapReduce中,我们可以使用不同的压缩算法来压缩写入和读取数据的文件,这样可以提高存储和传输效率。 Gzip是一种常见的压缩算法,它通过使用DEFLATE算法对文件进行压缩。在MapReduce中,我们可以使用Gzip压缩算法来写入文件。当写入数据时,MapReduce会使用Gzip算法对数据进行压缩,并将压缩后的数据写入文件。在读取数据时,MapReduce会自动解压缩文件并将数据加载到内存中进行处理。 Snappy是一种快速压缩算法,它在压缩和解压缩数据时具有较高的速度。在MapReduce中,如果我们需要更高的压缩和解压缩速度,可以使用Snappy压缩算法来写入文件。与Gzip相似,MapReduce会使用Snappy算法对数据进行压缩,并在读取数据时自动解压缩文件。 LZO是另一种常见的压缩算法,它在压缩数据时提供了较高的压缩比和较快的压缩速度。在MapReduce中,如果数据的压缩比很重要,我们可以选择使用LZO压缩算法来写入文件。MapReduce会使用LZO算法对数据进行压缩,并在读取数据时自动解压缩文件。 总之,MapReduce可以使用不同的压缩算法(如GzipSnappy和LZO)来写入和读取文件。使用不同的压缩算法可以根据需求平衡存储空间和计算速度。如果需要高压缩比或更高的速度,可以选择合适的压缩算法

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值