尝试使用c++ gzlib和java GZIPOutputStream 读写gz压缩文件

最新推荐文章于 2022-09-29 12:20:05 发布

buaahennande

最新推荐文章于 2022-09-29 12:20:05 发布

阅读量2.8k

点赞数 1

分类专栏： C++

本文链接：https://blog.csdn.net/buaahennande/article/details/45151447

版权

本文介绍了在处理大量数据时，为减少硬盘占用和IO时间，尝试使用Java的GZIPOutputStream压缩文件，并用C++进行读取。通过测试代码展示了如何将double转换为byte[]以适应GZIPOutputStream，并对比了压缩前后文件大小，强调了gzip的优秀压缩效果。

摘要由CSDN通过智能技术生成

问题背景：

我需要生成一个大概1.5T的double型矩阵，硬盘受不了，IO时间消耗不起，于是尝试在输出前压缩。矩阵生成使用java，在矩阵上的计算使用cpp

于是分别尝试使用java 写gz压缩文件和使用c++读压缩文件

一下为简单的测试代码：

写：

 public boolean generateGzipFile(String ofname) throws IOException {
                FileOutputStream fout = new FileOutputStream(ofname);
                GZIPOutputStream gos = new GZIPOutputStream(fout);
                for(int i = 0; i < numbers.size(); i++){
                        String tstr = String.valueOf(numbers.get(i));
                        tstr += "\n";
                        gos.write(tstr.getBytes());
                }
                gos.finish();
                gos.flush();
                gos.close();
                return true;
        }

读：