数据结构与算法学习之赫夫曼树实现数据/文件压缩与解压

package com.atguigu.huffmancode;

import com.atguigu.huffmantree.HuffmanTree;
import jdk.internal.org.objectweb.asm.commons.StaticInitMerger;

import javax.swing.*;
import java.io.*;
import java.nio.charset.StandardCharsets;
import java.util.*;


/**
 * @author 
 * @create 2022-06-22-10:46
 */
public class HuffmanCode {
    public static void main(String[] args) {
        /*
        //测试压缩文件
        String srcFile = "d://CSDN封面图.jpg";
        String destFile = "d://CSDN封面图.zip";
        zipFile(srcFile, destFile);
        System.out.println("压缩成功~");
        */
        //测试解压文件
        String zipFile = "d://CSDN封面图.zip";
        String destFile = "d://CSDN封面图1.jpg";
        unZipFile(zipFile, destFile);
        System.out.println("解压成功");

        /*
        String str = "i like like like java do you like a java";
        //1.
        byte[] contentBytes = str.getBytes();
        System.out.println("压缩前的结果为：" + Arrays.toString(contentBytes) + "长度为：" + contentBytes.length);//[105, 32, 108, 105, 107, 101, 32, 108, 105, 107, 101, 32, 108, 105, 107, 101, 32, 106, 97, 118, 97, 32, 100, 111, 32, 121, 111, 117, 32, 108, 105, 107, 101, 32, 97, 32, 106, 97, 118, 97]
        System.out.println(contentBytes.length);//40

        byte[] huffmanCodeBytes = huffmanZip(contentBytes);
        System.out.println("压缩后的结果是：" + Arrays.toString(huffmanCodeBytes) + "长度=" + huffmanCodeBytes.length);
        //数据解码
        byte[] sourceBytes = decode(huffmanCodes, huffmanCodeBytes);
        System.out.println("原来的字符串=" + Arrays.toString(sourceBytes));

        System.out.println("字符串输出" + new String(sourceBytes));

         */

//        /分步过程///：
//        //2.
//        List<Node> nodes = getNode(contentBytes);
//        System.out.println(nodes);
//        //3.
//        //测试创建的赫夫曼树
//        System.out.println("赫夫曼树");
//        Node huffmanTree = createHuffmanTree(nodes);
//        System.out.println("前序遍历");
//        preOrder(huffmanTree);
//        //4.
//        //测试是否生成哈夫曼编码
//        Map<Byte, String> huffmanCode = getCodes(huffmanTree);
//        System.out.println("生成的赫夫曼编码表是：");
//        System.out.println(huffmanCode);
//
//        //5.将传入的byte[]转换成哈夫曼编码，再以8位一组转换为byte[]
//        byte[] huffmanCodesBytes = zip(contentBytes, huffmanCode);//17个
//        System.out.println("huffmanCodesBytes=" + Arrays.toString(huffmanCodesBytes));//[-88, -65, -56, -65, -56, -65, -55, 77, -57, 6, -24, -14, -117, -4, -60, -90, 28]
//
//        //6.huffmanCodesBytes数组

    }
    //编写方法，实现对文件的解压

    /**
     * @param zipFile  准备解压的文件
     * @param destFile 将文件解压到哪个路径
     */
    public static void unZipFile(String zipFile, String destFile) {
        //定义文件输入流
        InputStream is = null;
        //定义一个对象输入流
        ObjectInputStream ois = null;
        //定义文件输出流
        OutputStream os = null;
        try {
            //创建输入流
            is = new FileInputStream(zipFile);
            //创建对象输入流
            ois = new ObjectInputStream(is);
            //读取byte数组，huffmanBytes
            byte[] huffmanBytes = (byte[]) ois.readObject();
            Map<Byte, String> huffmanCode = (Map<Byte, String>) ois.readObject();
            //解码
            byte[] bytes = decode(huffmanCode, huffmanBytes);
            //将byte[]写入到目标文件
            os = new FileOutputStream(destFile);
            os.write(bytes);

        } catch (Exception e) {
            System.out.println(e.getMessage());

        } finally {
            try {

                os.close();
                ois.close();
                is.close();
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
        }

    }

    //编写方法，实现对文件压缩
    public static void zipFile(String srcFile, String destFile) {
        //创建文件的输入流
        FileInputStream is = null;
        FileOutputStream os = null;
        ObjectOutputStream oos = null;//对象输出流
        try {
            is = new FileInputStream(srcFile);
            //创建一个和源文件大小一样的byte[]
            byte[] buffer = new byte[is.available()];//is.available()获取数据流里有多少个字节可以读取
            is.read(buffer);//读取文件
            //直接对源文件压缩
            byte[] huffmanBytes = huffmanZip(buffer);
            //创建文件的输出流，存放压缩文件
            os = new FileOutputStream(destFile);
            //创建对象输出流：ObjectOutputStream
            oos = new ObjectOutputStream(os);
            //把赫夫曼编码后的字节数组写入压缩文件
            oos.writeObject(huffmanBytes);
            //这里以对象流的方式写入赫夫曼编码，是为了解压时使用
            //注意一定要把赫夫曼编码写入压缩文件
            oos.writeObject(huffmanCodes);


        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                is.close();
                oos.close();
                os.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }


    }


    //完成数据的解压
    //思路：
    //1.将huffmanCodeBytes[-88...]先转成赫夫曼对应的二进制字符串（1101001101001010）
    //2.将上述二进制字符串对照赫夫曼编码表转为字符串("i like like....")

    //编写方法，完成对压缩数据的解码

    /**
     * @param huffmanCode  赫夫曼编码表
     * @param huffmanBytes 赫夫曼压缩后的数组
     * @return 解压后的数组
     */
    private static byte[] decode(Map<Byte, String> huffmanCode, byte[] huffmanBytes) {
        //1.先得到huffmanBytes对应二进制字符串，形式：011101010
        StringBuilder stringBuilder = new StringBuilder();
        for (int i = 0; i < huffmanBytes.length; i++) {
            byte b = huffmanBytes[i];
            //判断是不是最后一个字节
            boolean flag = (i != huffmanBytes.length - 1);
            stringBuilder.append(byteToBitString(flag, b));
        }
        //把字符串按照指定赫夫曼编码进行解码
        //把赫夫曼编码表调换，换成解码表
        Map<String, Byte> map = new HashMap<>();
        for (Map.Entry<Byte, String> entry : huffmanCode.entrySet()) {
            map.put(entry.getValue(), entry.getKey());
        }
        //创建List集合存放byte
        List<Byte> list = new ArrayList<>();
        for (int i = 0; i < stringBuilder.length(); ) {
            int count = 1;//用来扫描扫几位，作为一个小计数器
            Byte b = null;
            boolean flag = true;
            while (flag) {
                String str = stringBuilder.substring(i, i + count);
                b = map.get(str);
                if (b == null) {//说明没有匹配到
                    count++;
                } else {//匹配到了
                    flag = false;
                }
            }
            list.add(b);
            i += count;//直接移动到count后继续扫描

        }
        //当for循环结束后，就将二进制的字符转换成字符串存到list中

        //将list中的元素转换成byte[]
        byte[] bytes = new byte[list.size()];
        for (int i = 0; i < bytes.length; i++) {
            bytes[i] = list.get(i);
        }

        return bytes;
    }


    /**
     * 将一个byte转成一个二进制的字符串
     *
     * @param b    传进来的一个字节
     * @param flag 判断是否需要补齐高位 如果为true补齐,如果是最后一个字节，无需补高位
     * @return 返回b对应的二进制的字符串（按补码）
     */
    //以下方法存在问题：
    //是按照int进行转的，高位自动补齐了，位数过多，需要截取
//    private static String byteToBitString(byte b){
//        int temp=b;
//        String str = Integer.toBinaryString(temp);
//        return str;
//    }

    //完善
    //以下方法存在问题：
    //如果是正数，补码就是其本身，截取时会报错，需要对正数进行补齐
//    private static String byteToBitString(byte b){
//        int temp=b;
//        String str = Integer.toBinaryString(temp);
//        return str.substring(str.length()-8);//截取后八位
//    }

    //完善
    //以下方法存在问题：
    //最后一个字节的时候，可能不满八位，按位与就没用了，需要考虑最后一位
//    private static String byteToBitString(byte b) {
//        int temp = b;
//        temp |= 256;//temp与256按位与会补齐高位
//        String str = Integer.toBinaryString(temp);
//        return str.substring(str.length() - 8);//截取后八位
//    }

    //完善
    private static String byteToBitString(boolean flag, byte b) {
        int temp = b;
        if (flag) {//如果需要补齐高位
            temp |= 256;//temp与256按位与会补齐高位
        }
        String str = Integer.toBinaryString(temp);//返回temp对应的二进制的补码
        if (flag) {
            return str.substring(str.length() - 8);//截取后八位
        } else {//是最后一位，不用补齐
            return str;
        }
    }


    //使用方法将上述方法封装

    /**
     * @param bytes 原始的字符串对应的字节数组
     * @return 经过赫夫曼编码处理后的字节数组（压缩后的数组）
     */
    private static byte[] huffmanZip(byte[] bytes) {
        List<Node> nodes = getNode(bytes);
        //根据nodes创建赫夫曼树
        Node huffmanTree = createHuffmanTree(nodes);
        //根据赫夫曼树得到赫夫曼编码
        Map<Byte, String> huffmanCode = getCodes(huffmanTree);
        //根据赫夫曼编码，得到压缩后的赫夫曼编码字节数组
        byte[] huffmanCodesBytes = zip(bytes, huffmanCode);
        return huffmanCodesBytes;
    }

    /**
     * @param bytes 接收字节数组
     * @return 返回的是List形式
     */
    private static List<Node> getNode(byte[] bytes) {

        //1.创建ArrayList
        ArrayList<Node> nodes = new ArrayList<>();

        //2.遍历nodes，将nodes中每一个节点和出现次数放到一个map中
        HashMap<Byte, Integer> counts = new HashMap<>();
        for (byte b : bytes) {
            Integer nums = counts.get(b);
            if (nums == null) {//说明map中没有
                counts.put(b, 1);
            } else {//里面已经有了
                counts.put(b, nums + 1);

            }

        }
        //把每一个键值对转成Node对象，并加入到nodes集合中
        //遍历map
        for (Map.Entry<Byte, Integer> entry : counts.entrySet()) {
            nodes.add(new Node(entry.getKey(), entry.getValue()));
        }
        return nodes;
    }

    //创建huffmanTree
    private static Node createHuffmanTree(List<Node> list) {
        while (list.size() > 1) {
            //排序:从小到大
            Collections.sort(list);
            //找出最小的一颗二叉树
            Node leftNode = list.get(0);
            //找出第二小的一颗二叉树
            Node rightNode = list.get(1);
            //只有叶子节点处有字符，即有key值，其他叶子节点的父节点均只有value值
            Node parent = new Node(null, leftNode.weight + rightNode.weight);
            //挂起来
            parent.left = leftNode;
            parent.right = rightNode;
            //将处理过的删除
            list.remove(leftNode);
            list.remove(rightNode);
            //将新的加入
            list.add(parent);
        }
        //list中最后一个元素即为根节点
        return list.get(0);

    }

    //编写一个方法，将字符串对应的byte[]数组，通过生成的赫夫曼编码表，返回一个赫夫曼编码压缩后的 byte[]

    /**
     * @param bytes        原始的字符串对应的byte[]
     * @param huffmanCodes 生成的赫夫曼编码map
     * @return 返回赫夫曼编码后的byte[] 八位一组放入byte[]中
     * 举例： String content = "i like like like java do you like a java"; =》 byte[] contentBytes = content.getBytes();
     * * 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"
     * * => 对应的 byte[] huffmanCodeBytes  ，即 8位对应一个 byte,放入到 huffmanCodeBytes
     * * huffmanCodeBytes[0] =  10101000(补码) => byte  [推导  10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ]
     * * huffmanCodeBytes[1] = -88
     */
    private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {
        //1.将传入的byte[]转成赫夫曼编码对应的字符串
        StringBuilder stringBuilder = new StringBuilder();
        for (byte b : bytes) {
            stringBuilder.append(huffmanCodes.get(b));
        }
        //2.将stringBuilder转成byte[]
        //统计需要多大的byte[]
        //一句代码：int len=(stringBuilder.length()+7)/8;
        int len;
        if (stringBuilder.length() % 8 == 0) {
            len = stringBuilder.length() / 8;
        } else {
            len = stringBuilder.length() / 8 + 1;
        }
        byte[] huffmanCodeBytes = new byte[len];
        int index = 0;//用于存放加入第几个字节
        //生成byte[]
        for (int i = 0; i < stringBuilder.length(); i += 8) {//因为是每8位一个字节，所以以8为步长
            //每一次for循环取一个字节（8位）
            String strByte;
            if (i + 8 > stringBuilder.length()) {//不够八位
                strByte = stringBuilder.substring(i);//从i开始取，取到最后
            } else {
                strByte = stringBuilder.substring(i, i + 8);//每8位取出一次
            }
            huffmanCodeBytes[index] = (byte) Integer.parseInt(strByte, 2);//这里的2表示strByte是2进制
            index++;
        }
        return huffmanCodeBytes;
    }


    //生成赫夫曼树对应的赫夫曼编码
    //思路分析：
    //1.将赫夫曼树编码表放入Map<Byte,String>  形如：32->01 97->100
    static Map<Byte, String> huffmanCodes = new HashMap<>();
    //2.在生成赫夫曼编码表时，要去拼接路径，定义一个StringBuilder，存储某个叶子节点的路径
    static StringBuilder stringBuilder = new StringBuilder();

    //为了调用方便，重载一下getCodes方法
    private static Map<Byte, String> getCodes(Node root) {
        if (root == null) {
            System.out.println("该树为空");
        } else {
            //处理左子树
            getCodes(root.left, "0", stringBuilder);
            //处理右子树
            getCodes(root.right, "1", stringBuilder);
        }
        return huffmanCodes;
    }

    /**
     * 功能：将传入node节点的所有叶子节点的赫夫曼编码得到，并放入到StringBuilder集合中
     *
     * @param node          传入节点
     * @param code          路径：左边是0，右边是1
     * @param stringBuilder 用于拼接路径
     */
    private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
        StringBuilder stringBuilder1 = new StringBuilder(stringBuilder);
        stringBuilder1.append(code);
        if (node != null) {//如果node=null不作处理
            if (node.data == null) {//非叶子节点
                //继续向下递归
                //向左递归
                getCodes(node.left, "0", stringBuilder1);
                //向右递归
                getCodes(node.right, "1", stringBuilder1);
            } else {//找到叶子节点,将整个路径放入Map中
                huffmanCodes.put(node.data, stringBuilder1.toString());

            }


        }
    }


    //前序遍历方法
    private static void preOrder(Node root) {
        if (root != null) {
            root.preOrder();
        } else {
            System.out.println("此树为空树");
        }

    }
}

//创建Node，存数据和权值
class Node implements Comparable<Node> {
    Byte data;//存放数据(字符)本身，比如'a'->97
    int weight;//权值，表示字符出现的次数
    Node left;
    Node right;

    public Node(Byte data, int weight) {
        this.data = data;
        this.weight = weight;
    }

    @Override
    public int compareTo(Node o) {
        //表示从小到大排
        return this.weight - o.weight;
    }
    //重写toString

    @Override
    public String toString() {
        return "Node{" +
                "data=" + data +
                ", weight=" + weight +
                '}';
    }

    //前序遍历
    public void preOrder() {
        System.out.println(this);
        if (this.left != null) {
            this.left.preOrder();
        }
        if (this.right != null) {
            this.right.preOrder();
        }
    }
}