Gzip解压缩代码实现

Gzip解压缩代码实现

1.运行虚拟机
2.在Idea的Maven中打包代码
3.将打包文件拖入虚拟机中
4.执行jar包

在Idea的Maven中打包代码：

将xml文件压缩成gzip文件：

/**
 * @Time : 2021/10/23 15:24
 * @Auther : Carapace
 * @File : DeflateCodeDemo.java
 * Software: IntelliJ IDEA
 */

package com.GzipCodeDemo;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;

import java.io.FileInputStream;
import java.io.FileOutputStream;

public class GzipCodeDemo {
    public static void main(String[] args) throws Exception {
        String inpath="/home/atguigu/comments.xml";    //自行选择原文件路径

        String outpath="/home/atguigu/comments.gzip";	//自行选择压缩出来文件路径

        Configuration conf = new Configuration();

        //压缩类型
        String codecClassname ="org.apache.hadoop.io.compress.GzipCodec";

        Class<?> codecClass = Class.forName(codecClassname);

        //创建压缩类型的实例的第一种写法
        CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass,conf);

        //依据outoath输出路径进行和输出流包装，产生新的压缩流
        FileOutputStream fos = new FileOutputStream(outpath);

        //创建输出压缩类
        CompressionOutputStream comOut = codec.createOutputStream(fos);

        //依据压缩路径inpath并写入流
        IOUtils.copyBytes(new FileInputStream(inpath),comOut,1024,false);
        comOut.finish();





    }
}

解压gzip文件解压成xml文件：

/**
 * @Time : 2021/10/23 18:20
 * @Auther : Carapace
 * @File : DeflateCodeDemo2.java
 * Software: IntelliJ IDEA
 */

package com.GzipCodeDemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionInputStream;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.util.ReflectionUtils;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class GzipCodeDemo2 {
    public static void main(String[] args) throws IOException {


        String inputpath = "/home/atguigu/comments.gzip";	//自行选择原文件路径

        String outputpath = "/home/atguigu/gzip_comments.xml";	//自行选择解压出来文件路径

        Configuration conf = new Configuration();

        //直接实例化codec对象
        GzipCodec codec = new GzipCodec();

        //检查并设置conf对象
        ReflectionUtils.setConf(codec, conf);

        //创建压缩流
        CompressionInputStream comIn = codec.createInputStream(new FileInputStream(inputpath));

        //写入流
        IOUtils.copyBytes(comIn, new FileOutputStream(outputpath), 1024);
        comIn.close();
    }
}

然后在Idea中进行打包，在Maven中先进行clean，然后package

在target中生成文件，找到文件位置，加载到虚拟机中

在虚拟机中 运行 代码：

hadoop jar + 包名 +  copy Reference（包名类名）

注：包名如果觉得长，可以自行更改
包名类名获取方式：