赫夫曼编码数据压缩

最新推荐文章于 2022-04-06 17:33:39 发布
最新推荐文章于 2022-04-06 17:33:39 发布
阅读量654 收藏 3
点赞数
分类专栏： 数据结构与算法 文章标签： 数据结构 java 字符串
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43803285/article/details/115495403
版权
本文详细介绍了赫夫曼编码的概念、原理及其在数据压缩中的应用。通过实例展示了如何构建赫夫曼树，生成赫夫曼编码，并使用这些编码对字符串进行压缩和解压缩。此外，还提供了完整的Java代码实现，包括创建赫夫曼树、生成赫夫曼编码、压缩和解压缩数据的过程。
摘要由CSDN通过智能技术生成

赫夫曼编码数据压缩

一、基本介绍

  1. 赫夫曼编码也翻译为 哈夫曼编码(HuffmanCoding)，又称霍夫曼编码，是一种编码方式, 属于一种程序算法
  2. 赫夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。
  3. 赫夫曼编码广泛地用于数据文件压缩。其压缩率通常在 20%～90%之间
  4. 赫夫曼码是可变字长编码(VLC)的一种。Huffman 于 1952 年提出一种编码方法，称之为最佳编码

二、 原理剖析

通信领域中信息的处理方式 1-定长编码
在这里插入图片描述
通信领域中信息的处理方式 2-变长编码
在这里插入图片描述
通信领域中信息的处理方式 3-赫夫曼编码

传输的 字符串

1)i like like like java do you like a java

  1. d:1y:1u:1j:2 v:2 o:2 l:4 k:4 e:4i:5 a:5 :9 // 各个字符对应的个数
  2. 按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值

步骤：

构成赫夫曼树的步骤：

  1. 从小到大进行排序, 将每一个数据，每个数据都是一个节点 ， 每个节点可以看成是一颗最简单的二叉树

  2. 取出根节点权值最小的两颗二叉树

  3. 组成一颗新的二叉树, 该新的二叉树的根节点的权值是前面两颗二叉树根节点权值的和

  4. 再将这颗新的二叉树，以根节点的权值大小 再次排序， 不断重复 1-2-3-4 的步骤，直到数列中，所有的数据都被处理， 就得到一颗赫夫曼树
    在这里插入图片描述

  5. 根据赫夫曼树，给各个字符,规定编码 (前缀编码)， 向左的路径为 0 向右的路径为 1 ， 编码
    如下:
    o:1000 u:10010 d:100110 y:100111 i:101
    a:110 k:1110 e:1111 j:0000 v:0001
    l:001 :01

  6. 按照上面的赫夫曼编码，我们的"ilikelikelikejavadoyoulikeajava" 字符串对应的编码为 (注
    意这里我们使用的无损压缩)
    10101001101111011110100110111101111010011011110111101000011000011100110011110000110
    01111000100100100110111101111011100100001100001110 通过赫夫曼编码处理 长度为 133

长度为 ： 133
说明:
原来长度是 359, 压缩了 (359-133)/359=62.9%

此编码满足前缀编码, 即字符的编码都不能是其他字符编码的前缀。不会造成匹配的多义性赫夫曼编码是无损处理方案

注意事项： 这个赫夫曼树根据排序方法不同，也可能不太一样，这样对应的赫夫曼编码也不完全一样，但是 wpl 是 一样的，都是最小的, 最后生成的赫夫曼编码的长度是一样，比如: 如果我们让每次生成的新的二叉树总是排在权 值相同的二叉树的最后一个，则生成的二叉树为:
在这里插入图片描述

将给出的一段文本，比如 “i like likelikejava doyou likeajava” ， 根据前面的讲的赫夫曼编码原理，对其进行数
据 压 缩 处 理 ， 形 式 如 "1010100110111101111010011011110111101001101111011110100001100001110011001111000011001111000100100100 110111101111011100100001100001110 "

步骤 1：根据赫夫曼编码压缩数据的原理，需要创建 “i like like like java do you like a java” 对应的赫夫曼树.

//可以通过List 创建对应的赫夫曼树
    private static Nodes createHuffmanTree(List<Nodes> Nodess) {

        while(Nodess.size() > 1) {
            //排序, 从小到大
            Collections.sort(Nodess);
            //取出第一颗最小的二叉树
            Nodes leftNodes = Nodess.get(0);
            //取出第二颗最小的二叉树
            Nodes rightNodes = Nodess.get(1);
            //创建一颗新的二叉树,它的根节点 没有data, 只有权值
            Nodes parent = new Nodes(null, leftNodes.weight + rightNodes.weight);
            parent.left = leftNodes;
            parent.right = rightNodes;

            //将已经处理的两颗二叉树从Nodess删除
            Nodess.remove(leftNodes);
            Nodess.remove(rightNodes);
            //将新的二叉树，加入到Nodess
            Nodess.add(parent);

        }
        //Nodess 最后的结点，就是赫夫曼树的根结点
        return Nodess.get(0);

    }

我们已经生成了 赫夫曼树, 下面我们继续完成任务 1) 生成赫夫曼树对应的赫夫曼编码 , 如下表: =01 a=100 d=11000 u=11001 e=1110 v=11011 i=101 y=11010 j=0010 k=1111 l=000 o=0011
2) 使用赫夫曼编码来生成赫夫曼编码数据 ,即按照上面的赫夫曼编码，将"i like like like java do you like a java" 字符串生成对应的编码数据, 形式如下. 10101000101111111100100010111111110010001011111111001001010011011100011100000110111010001111001010 00101111111100110001001010011011100 3) 思路：前面已经分析过了，而且我们讲过了生成赫夫曼编码的具体实现。

 /**
     * 功能：将传入的Nodes结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合
     * @param Nodes  传入结点
     * @param code  路径： 左子结点是 0, 右子结点 1
     * @param stringBuilder 用于拼接路径
     */
    private static void getCodes(Nodes Nodes, String code, StringBuilder stringBuilder) {
        StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
        //将code 加入到 stringBuilder2
        stringBuilder2.append(code);
        if(Nodes != null) { //如果Nodes == null不处理
            //判断当前Nodes 是叶子结点还是非叶子结点
            if(Nodes.data == null) { //非叶子结点
                //递归处理
                //向左递归
                getCodes(Nodes.left, "0", stringBuilder2);
                //向右递归
                getCodes(Nodes.right, "1", stringBuilder2);
            } else { //说明是一个叶子结点
                //就表示找到某个叶子结点的最后
                huffmanCodes.put(Nodes.data, stringBuilder2.toString());
            }
        }
    }
 /**
     *
     * @param bytes 接收字节数组
     * @return 返回的就是 List 形式   [Nodes[date=97 ,weight = 5], Nodes[]date=32,weight = 9]......],
     */
    private static List<Nodes> getNodess(byte[] bytes) {

        //1创建一个ArrayList
        ArrayList<Nodes> Nodess = new ArrayList<Nodes>();

        //遍历 bytes , 统计 每一个byte出现的次数->map[key,value]
        Map<Byte, Integer> counts = new HashMap<>();
        for (byte b : bytes) {
            Integer count = counts.get(b);
            if (count == null) { // Map还没有这个字符数据,第一次
                counts.put(b, 1);
            } else {
                counts.put(b, count + 1);
            }
        }

        //把每一个键值对转成一个Nodes 对象，并加入到Nodess集合
        //遍历map
        for(Map.Entry<Byte, Integer> entry: counts.entrySet()) {
            Nodess.add(new Nodes(entry.getKey(), entry.getValue()));
        }
        return Nodess;

    }

使用赫夫曼编码来解码数据，具体要求是

  1. 前面我们得到了赫夫曼编码和对应的编码 byte[], 即:[-88,-65,-56,-65,-56,-65,-55,77 ,-57,6,-24,-14,-117,-4,-60,-90,28]
  2. 现在要求使用赫夫曼编码， 进行解码，又 重新得到原来的字符串"ilikelikelikejavadoyoulikeajava"
  3. 思路：解码过程，就是编码的一个逆向操作。
//编写一个方法，完成对压缩数据的解码
    /**
     *
     * @param huffmanCodes 赫夫曼编码表 map
     * @param huffmanBytes 赫夫曼编码得到的字节数组
     * @return 就是原来的字符串对应的数组
     */
    private static byte[] decode(Map<Byte,String> huffmanCodes, byte[] huffmanBytes) {

        //1. 先得到 huffmanBytes 对应的 二进制的字符串 ， 形式 1010100010111...
        StringBuilder stringBuilder = new StringBuilder();
        //将byte数组转成二进制的字符串
        for(int i = 0; i < huffmanBytes.length; i++) {
            byte b = huffmanBytes[i];
            //判断是不是最后一个字节
            boolean flag = (i == huffmanBytes.length - 1);
            stringBuilder.append(byteToBitString(!flag, b));
        }
        //把字符串安装指定的赫夫曼编码进行解码
        //把赫夫曼编码表进行调换，因为反向查询 a->100 100->a
        Map<String, Byte>  map = new HashMap<String,Byte>();
        for(Map.Entry<Byte, String> entry: huffmanCodes.entrySet()) {
            map.put(entry.getValue(), entry.getKey());
        }

        //创建要给集合，存放byte
        List<Byte> list = new ArrayList<>();
        //i 可以理解成就是索引,扫描 stringBuilder
        for(int  i = 0; i < stringBuilder.length(); ) {
            int count = 1; // 小的计数器
            boolean flag = true;
            Byte b = null;

            while(flag) {
                //1010100010111...
                //递增的取出 key 1
                String key = stringBuilder.substring(i, i+count);//i 不动，让count移动，指定匹配到一个字符
                b = map.get(key);
                if(b == null) {//说明没有匹配到
                    count++;
                }else {
                    //匹配到
                    flag = false;
                }
            }
            list.add(b);
            i += count;//i 直接移动到 count
        }
        //当for循环结束后，我们list中就存放了所有的字符  "i like like like java do you like a java"
        //把list 中的数据放入到byte[] 并返回
        byte b[] = new byte[list.size()];
        for(int i = 0;i < b.length; i++) {
            b[i] = list.get(i);
        }
        return b;

    }

    /**
     * 将一个byte 转成一个二进制的字符串, 如果看不懂，可以参考我讲的Java基础 二进制的原码，反码，补码
     * @param b 传入的 byte
     * @param flag 标志是否需要补高位如果是true ，表示需要补高位，如果是false表示不补, 如果是最后一个字节，无需补高位
     * @return 是该b 对应的二进制的字符串，（注意是按补码返回）
     */
    private static String byteToBitString(boolean flag, byte b) {
        //使用变量保存 b
        int temp = b; //将 b 转成 int
        //如果是正数我们还存在补高位
        if(flag) {
            temp |= 256; //按位与 256  1 0000 0000  | 0000 0001 => 1 0000 0001
        }
        String str = Integer.toBinaryString(temp); //返回的是temp对应的二进制的补码
        if(flag) {
            return str.substring(str.length() - 8);
        } else {
            return str;
        }
    }

给你一个图片文件，要求对其进行无损压缩, 看看压缩效果如何

  1. 思路：读取文件-> 得到赫夫曼编码表 -> 完成压缩
 //编写一个方法，将字符串对应的byte[] 数组，通过生成的赫夫曼编码表，返回一个赫夫曼编码 压缩后的byte[]
    /**
     *
     * @param bytes 这时原始的字符串对应的 byte[]
     * @param huffmanCodes 生成的赫夫曼编码map
     * @return 返回赫夫曼编码处理后的 byte[]
     * 举例： String content = "i like like like java do you like a java"; =》 byte[] contentBytes = content.getBytes();
     * 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"
     * => 对应的 byte[] huffmanCodeBytes  ，即 8位对应一个 byte,放入到 huffmanCodeBytes
     * huffmanCodeBytes[0] =  10101000(补码) => byte  [推导  10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ]
     * huffmanCodeBytes[1] = -88
     */
    private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {

        //1.利用 huffmanCodes 将  bytes 转成  赫夫曼编码对应的字符串
        StringBuilder stringBuilder = new StringBuilder();
        //遍历bytes 数组
        for(byte b: bytes) {
            stringBuilder.append(huffmanCodes.get(b));
        }

        //System.out.println("测试 stringBuilder~~~=" + stringBuilder.toString());

        //将 "1010100010111111110..." 转成 byte[]

        //统计返回  byte[] huffmanCodeBytes 长度
        //一句话 int len = (stringBuilder.length() + 7) / 8;
        int len;
        if(stringBuilder.length() % 8 == 0) {
            len = stringBuilder.length() / 8;
        } else {
            len = stringBuilder.length() / 8 + 1;
        }
        //创建 存储压缩后的 byte数组
        byte[] huffmanCodeBytes = new byte[len];
        int index = 0;//记录是第几个byte
        for (int i = 0; i < stringBuilder.length(); i += 8) { //因为是每8位对应一个byte,所以步长 +8
            String strByte;
            if(i+8 > stringBuilder.length()) {//不够8位
                strByte = stringBuilder.substring(i);
            }else{
                strByte = stringBuilder.substring(i, i + 8);
            }
            //将strByte 转成一个byte,放入到 huffmanCodeBytes
            huffmanCodeBytes[index] = (byte)Integer.parseInt(strByte, 2);
            index++;
        }
        return huffmanCodeBytes;
    }

文件解压(文件恢复)

具体要求：将前面压缩的文件，重新恢复成原来的文件。

  1. 思路：读取压缩文件(数据和赫夫曼编码表)-> 完成解压(文件恢复)
 //编写一个方法，完成对压缩文件的解压
    /**
     *
     * @param zipFile 准备解压的文件
     * @param dstFile 将文件解压到哪个路径
     */
    public static void unZipFile(String zipFile, String dstFile) {

        //定义文件输入流
        InputStream is = null;
        //定义一个对象输入流
        ObjectInputStream ois = null;
        //定义文件的输出流
        OutputStream os = null;
        try {
            //创建文件输入流
            is = new FileInputStream(zipFile);
            //创建一个和  is关联的对象输入流
            ois = new ObjectInputStream(is);
            //读取byte数组  huffmanBytes
            byte[] huffmanBytes = (byte[])ois.readObject();
            //读取赫夫曼编码表
            Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();

            //解码
            byte[] bytes = decode(huffmanCodes, huffmanBytes);
            //将bytes 数组写入到目标文件
            os = new FileOutputStream(dstFile);
            //写数据到 dstFile 文件
            os.write(bytes);
        } catch (Exception e) {
            // TODO: handle exception
            System.out.println(e.getMessage());
        } finally {

            try {
                os.close();
                ois.close();
                is.close();
            } catch (Exception e2) {
                // TODO: handle exception
                System.out.println(e2.getMessage());
            }

        }
    }

完整代码：

package 树;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class HuffmanCode {

    public static void main(String[] args) {

       /* //测试压缩文件
		String srcFile = "d://a.txt";
	    String dstFile = "d://a.zip";

	zipFile(srcFile, dstFile);
	System.out.println("压缩文件ok~~");
*/

        //测试解压文件
        String zipFile = "D://a.zip";
        String dstFile = "D://b.txt";
        unZipFile(zipFile, dstFile);
        System.out.println("解压成功!");

		/*
		String content = "i like like like java do you like a java";
		byte[] contentBytes = content.getBytes();
		System.out.println(contentBytes.length); //40

		byte[] huffmanCodesBytes= huffmanZip(contentBytes);
		System.out.println("压缩后的结果是:" + Arrays.toString(huffmanCodesBytes) + " 长度= " + huffmanCodesBytes.length);


		//测试一把byteToBitString方法
		//System.out.println(byteToBitString((byte)1));
		byte[] sourceBytes = decode(huffmanCodes, huffmanCodesBytes);

		System.out.println("原来的字符串=" + new String(sourceBytes)); // "i like like like java do you like a java"
		*/



        //如何将 数据进行解压(解码)
        //分步过程
		/*
		List<Nodes> Nodess = getNodess(contentBytes);
		System.out.println("Nodess=" + Nodess);

		//测试一把，创建的赫夫曼树
		System.out.println("赫夫曼树");
		Nodes huffmanTreeRoot = createHuffmanTree(Nodess);
		System.out.println("前序遍历");
		huffmanTreeRoot.preOrder();

		//测试一把是否生成了对应的赫夫曼编码
		Map<Byte, String> huffmanCodes = getCodes(huffmanTreeRoot);
		System.out.println("~生成的赫夫曼编码表= " + huffmanCodes);

		//测试
		byte[] huffmanCodeBytes = zip(contentBytes, huffmanCodes);
		System.out.println("huffmanCodeBytes=" + Arrays.toString(huffmanCodeBytes));//17

		//发送huffmanCodeBytes 数组 */


    }

    //编写一个方法，完成对压缩文件的解压
    /**
     *
     * @param zipFile 准备解压的文件
     * @param dstFile 将文件解压到哪个路径
     */
    public static void unZipFile(String zipFile, String dstFile) {

        //定义文件输入流
        InputStream is = null;
        //定义一个对象输入流
        ObjectInputStream ois = null;
        //定义文件的输出流
        OutputStream os = null;
        try {
            //创建文件输入流
            is = new FileInputStream(zipFile);
            //创建一个和  is关联的对象输入流
            ois = new ObjectInputStream(is);
            //读取byte数组  huffmanBytes
            byte[] huffmanBytes = (byte[])ois.readObject();
            //读取赫夫曼编码表
            Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();

            //解码
            byte[] bytes = decode(huffmanCodes, huffmanBytes);
            //将bytes 数组写入到目标文件
            os = new FileOutputStream(dstFile);
            //写数据到 dstFile 文件
            os.write(bytes);
        } catch (Exception e) {
            // TODO: handle exception
            System.out.println(e.getMessage());
        } finally {

            try {
                os.close();
                ois.close();
                is.close();
            } catch (Exception e2) {
                // TODO: handle exception
                System.out.println(e2.getMessage());
            }

        }
    }

    //编写方法，将一个文件进行压缩
    /**
     *
     * @param srcFile 你传入的希望压缩的文件的全路径
     * @param dstFile 我们压缩后将压缩文件放到哪个目录
     */
    public static void zipFile(String srcFile, String dstFile) {

        //创建输出流
        OutputStream os = null;
        ObjectOutputStream oos = null;
        //创建文件的输入流
        FileInputStream is = null;
        try {
            //创建文件的输入流
            is = new FileInputStream(srcFile);
            //创建一个和源文件大小一样的byte[]
            byte[] b = new byte[is.available()];
            //读取文件
            is.read(b);
            //直接对源文件压缩
            byte[] huffmanBytes = huffmanZip(b);
            //创建文件的输出流, 存放压缩文件
            os = new FileOutputStream(dstFile);
            //创建一个和文件输出流关联的ObjectOutputStream
            oos = new ObjectOutputStream(os);
            //把 赫夫曼编码后的字节数组写入压缩文件
            oos.writeObject(huffmanBytes); //我们是把
            //这里我们以对象流的方式写入 赫夫曼编码，是为了以后我们恢复源文件时使用
            //注意一定要把赫夫曼编码 写入压缩文件
            oos.writeObject(huffmanCodes);


        }catch (Exception e) {
            // TODO: handle exception
            System.out.println(e.getMessage());
        }finally {
            try {
                is.close();
                oos.close();
                os.close();
            }catch (Exception e) {
                // TODO: handle exception
                System.out.println(e.getMessage());
            }
        }

    }

    //完成数据的解压
    //思路
    //1. 将huffmanCodeBytes [-88, -65, -56, -65, -56, -65, -55, 77, -57, 6, -24, -14, -117, -4, -60, -90, 28]
    //   重写先转成 赫夫曼编码对应的二进制的字符串 "1010100010111..."
    //2.  赫夫曼编码对应的二进制的字符串 "1010100010111..." =》 对照 赫夫曼编码  =》 "i like like like java do you like a java"


    //编写一个方法，完成对压缩数据的解码
    /**
     *
     * @param huffmanCodes 赫夫曼编码表 map
     * @param huffmanBytes 赫夫曼编码得到的字节数组
     * @return 就是原来的字符串对应的数组
     */
    private static byte[] decode(Map<Byte,String> huffmanCodes, byte[] huffmanBytes) {

        //1. 先得到 huffmanBytes 对应的 二进制的字符串 ， 形式 1010100010111...
        StringBuilder stringBuilder = new StringBuilder();
        //将byte数组转成二进制的字符串
        for(int i = 0; i < huffmanBytes.length; i++) {
            byte b = huffmanBytes[i];
            //判断是不是最后一个字节
            boolean flag = (i == huffmanBytes.length - 1);
            stringBuilder.append(byteToBitString(!flag, b));
        }
        //把字符串安装指定的赫夫曼编码进行解码
        //把赫夫曼编码表进行调换，因为反向查询 a->100 100->a
        Map<String, Byte>  map = new HashMap<String,Byte>();
        for(Map.Entry<Byte, String> entry: huffmanCodes.entrySet()) {
            map.put(entry.getValue(), entry.getKey());
        }

        //创建要给集合，存放byte
        List<Byte> list = new ArrayList<>();
        //i 可以理解成就是索引,扫描 stringBuilder
        for(int  i = 0; i < stringBuilder.length(); ) {
            int count = 1; // 小的计数器
            boolean flag = true;
            Byte b = null;

            while(flag) {
                //1010100010111...
                //递增的取出 key 1
                String key = stringBuilder.substring(i, i+count);//i 不动，让count移动，指定匹配到一个字符
                b = map.get(key);
                if(b == null) {//说明没有匹配到
                    count++;
                }else {
                    //匹配到
                    flag = false;
                }
            }
            list.add(b);
            i += count;//i 直接移动到 count
        }
        //当for循环结束后，我们list中就存放了所有的字符  "i like like like java do you like a java"
        //把list 中的数据放入到byte[] 并返回
        byte b[] = new byte[list.size()];
        for(int i = 0;i < b.length; i++) {
            b[i] = list.get(i);
        }
        return b;

    }

    /**
     * 将一个byte 转成一个二进制的字符串, 如果看不懂，可以参考我讲的Java基础 二进制的原码，反码，补码
     * @param b 传入的 byte
     * @param flag 标志是否需要补高位如果是true ，表示需要补高位，如果是false表示不补, 如果是最后一个字节，无需补高位
     * @return 是该b 对应的二进制的字符串，（注意是按补码返回）
     */
    private static String byteToBitString(boolean flag, byte b) {
        //使用变量保存 b
        int temp = b; //将 b 转成 int
        //如果是正数我们还存在补高位
        if(flag) {
            temp |= 256; //按位与 256  1 0000 0000  | 0000 0001 => 1 0000 0001
        }
        String str = Integer.toBinaryString(temp); //返回的是temp对应的二进制的补码
        if(flag) {
            return str.substring(str.length() - 8);
        } else {
            return str;
        }
    }

    //使用一个方法，将前面的方法封装起来，便于我们的调用.
    /**
     *
     * @param bytes 原始的字符串对应的字节数组
     * @return 是经过 赫夫曼编码处理后的字节数组(压缩后的数组)
     */
    private static byte[] huffmanZip(byte[] bytes) {
        List<Nodes> Nodess = getNodess(bytes);
        //根据 Nodess 创建的赫夫曼树
        Nodes huffmanTreeRoot = createHuffmanTree(Nodess);
        //对应的赫夫曼编码(根据 赫夫曼树)
        Map<Byte, String> huffmanCodes = getCodes(huffmanTreeRoot);
        //根据生成的赫夫曼编码，压缩得到压缩后的赫夫曼编码字节数组
        byte[] huffmanCodeBytes = zip(bytes, huffmanCodes);
        return huffmanCodeBytes;
    }


    //编写一个方法，将字符串对应的byte[] 数组，通过生成的赫夫曼编码表，返回一个赫夫曼编码 压缩后的byte[]
    /**
     *
     * @param bytes 这时原始的字符串对应的 byte[]
     * @param huffmanCodes 生成的赫夫曼编码map
     * @return 返回赫夫曼编码处理后的 byte[]
     * 举例： String content = "i like like like java do you like a java"; =》 byte[] contentBytes = content.getBytes();
     * 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"
     * => 对应的 byte[] huffmanCodeBytes  ，即 8位对应一个 byte,放入到 huffmanCodeBytes
     * huffmanCodeBytes[0] =  10101000(补码) => byte  [推导  10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ]
     * huffmanCodeBytes[1] = -88
     */
    private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {

        //1.利用 huffmanCodes 将  bytes 转成  赫夫曼编码对应的字符串
        StringBuilder stringBuilder = new StringBuilder();
        //遍历bytes 数组
        for(byte b: bytes) {
            stringBuilder.append(huffmanCodes.get(b));
        }

        //System.out.println("测试 stringBuilder~~~=" + stringBuilder.toString());

        //将 "1010100010111111110..." 转成 byte[]

        //统计返回  byte[] huffmanCodeBytes 长度
        //一句话 int len = (stringBuilder.length() + 7) / 8;
        int len;
        if(stringBuilder.length() % 8 == 0) {
            len = stringBuilder.length() / 8;
        } else {
            len = stringBuilder.length() / 8 + 1;
        }
        //创建 存储压缩后的 byte数组
        byte[] huffmanCodeBytes = new byte[len];
        int index = 0;//记录是第几个byte
        for (int i = 0; i < stringBuilder.length(); i += 8) { //因为是每8位对应一个byte,所以步长 +8
            String strByte;
            if(i+8 > stringBuilder.length()) {//不够8位
                strByte = stringBuilder.substring(i);
            }else{
                strByte = stringBuilder.substring(i, i + 8);
            }
            //将strByte 转成一个byte,放入到 huffmanCodeBytes
            huffmanCodeBytes[index] = (byte)Integer.parseInt(strByte, 2);
            index++;
        }
        return huffmanCodeBytes;
    }

    //生成赫夫曼树对应的赫夫曼编码
    //思路:
    //1. 将赫夫曼编码表存放在 Map<Byte,String> 形式
    //   生成的赫夫曼编码表{32=01, 97=100, 100=11000, 117=11001, 101=1110, 118=11011, 105=101, 121=11010, 106=0010, 107=1111, 108=000, 111=0011}
    static Map<Byte, String> huffmanCodes = new HashMap<Byte,String>();
    //2. 在生成赫夫曼编码表示，需要去拼接路径, 定义一个StringBuilder 存储某个叶子结点的路径
    static StringBuilder stringBuilder = new StringBuilder();


    //为了调用方便，我们重载 getCodes
    private static Map<Byte, String> getCodes(Nodes root) {
        if(root == null) {
            return null;
        }
        //处理root的左子树
        getCodes(root.left, "0", stringBuilder);
        //处理root的右子树
        getCodes(root.right, "1", stringBuilder);
        return huffmanCodes;
    }

    /**
     * 功能：将传入的Nodes结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合
     * @param Nodes  传入结点
     * @param code  路径： 左子结点是 0, 右子结点 1
     * @param stringBuilder 用于拼接路径
     */
    private static void getCodes(Nodes Nodes, String code, StringBuilder stringBuilder) {
        StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
        //将code 加入到 stringBuilder2
        stringBuilder2.append(code);
        if(Nodes != null) { //如果Nodes == null不处理
            //判断当前Nodes 是叶子结点还是非叶子结点
            if(Nodes.data == null) { //非叶子结点
                //递归处理
                //向左递归
                getCodes(Nodes.left, "0", stringBuilder2);
                //向右递归
                getCodes(Nodes.right, "1", stringBuilder2);
            } else { //说明是一个叶子结点
                //就表示找到某个叶子结点的最后
                huffmanCodes.put(Nodes.data, stringBuilder2.toString());
            }
        }
    }

    //前序遍历的方法
    private static void preOrder(Nodes root) {
        if(root != null) {
            root.preOrder();
        }else {
            System.out.println("赫夫曼树为空");
        }
    }

    /**
     *
     * @param bytes 接收字节数组
     * @return 返回的就是 List 形式   [Nodes[date=97 ,weight = 5], Nodes[]date=32,weight = 9]......],
     */
    private static List<Nodes> getNodess(byte[] bytes) {

        //1创建一个ArrayList
        ArrayList<Nodes> Nodess = new ArrayList<Nodes>();

        //遍历 bytes , 统计 每一个byte出现的次数->map[key,value]
        Map<Byte, Integer> counts = new HashMap<>();
        for (byte b : bytes) {
            Integer count = counts.get(b);
            if (count == null) { // Map还没有这个字符数据,第一次
                counts.put(b, 1);
            } else {
                counts.put(b, count + 1);
            }
        }

        //把每一个键值对转成一个Nodes 对象，并加入到Nodess集合
        //遍历map
        for(Map.Entry<Byte, Integer> entry: counts.entrySet()) {
            Nodess.add(new Nodes(entry.getKey(), entry.getValue()));
        }
        return Nodess;

    }

    //可以通过List 创建对应的赫夫曼树
    private static Nodes createHuffmanTree(List<Nodes> Nodess) {

        while(Nodess.size() > 1) {
            //排序, 从小到大
            Collections.sort(Nodess);
            //取出第一颗最小的二叉树
            Nodes leftNodes = Nodess.get(0);
            //取出第二颗最小的二叉树
            Nodes rightNodes = Nodess.get(1);
            //创建一颗新的二叉树,它的根节点 没有data, 只有权值
            Nodes parent = new Nodes(null, leftNodes.weight + rightNodes.weight);
            parent.left = leftNodes;
            parent.right = rightNodes;

            //将已经处理的两颗二叉树从Nodess删除
            Nodess.remove(leftNodes);
            Nodess.remove(rightNodes);
            //将新的二叉树，加入到Nodess
            Nodess.add(parent);

        }
        //Nodess 最后的结点，就是赫夫曼树的根结点
        return Nodess.get(0);

    }


}



//创建Nodes ,待数据和权值
class Nodes implements Comparable<Nodes>  {
    Byte data; // 存放数据(字符)本身，比如'a' => 97 ' ' => 32
    int weight; //权值, 表示字符出现的次数
    Nodes left;//
    Nodes right;
    public Nodes(Byte data, int weight) {

        this.data = data;
        this.weight = weight;
    }
    @Override
    public int compareTo(Nodes o) {
        // 从小到大排序
        return this.weight - o.weight;
    }
    @Override
    public String toString() {
        return "Nodes [data = " + data + " weight=" + weight + "]";
    }

    //前序遍历
    public void preOrder() {
        System.out.println(this);
        if(this.left != null) {
            this.left.preOrder();
        }
        if(this.right != null) {
            this.right.preOrder();
        }
    }
}

赫夫曼编码压缩文件注意事项

  1. 如果文件本身就是经过压缩处理的，那么使用赫夫曼编码再压缩效率不会有明显变化, 比如视频,ppt 等等文件 [举例压一个 .ppt]
  2. 赫夫曼编码是按字节来处理的，因此可以处理所有的文件(二进制文件、文本文件)[举例压一个.xml 文件]
  3. 如果一个文件中的内容，重复的数据不多，压缩效果也不会很明显.

在这里插入图片描述

LatteCK
关注
专栏目录
数据压缩技术：赫夫曼编码原理与实现
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
04-21 815
赫夫曼编码是一种广泛应用于数据压缩的贪心算法，它根据数据中各个符号出现的频率来构建一棵最优二叉树，使得每个符号的编码长度尽可能短。这种编码方式特别适用于那些符号出现频率差异较大的数据集，因为它可以为高频符号提供较短的编码，而为低频符号提供较长的编码，从而实现整体的数据压缩。
利用huffman编码实现压缩文件
系统中国
12-23 9113
哈夫曼是一种常用的压缩方法。是1952年为文本文件建立的，其基本原理是频繁使用的数据用较短的代码代替，很少使用的数据用较长的代码代替，每个数据的代码各不相同。这些代码都是二进制码，且码的长度是可变的。如: 有一个原始数据序列，ABACCDAA则编码为A(0)，B(10)，C(110),(D111)，压缩后为010011011011100。 　　产生霍夫曼编码需要对原始数据扫描两遍，第一遍扫描要精
压缩算法之霍夫曼编码
m0_46428737的博客
03-05 1132
据百度百科, 霍夫曼编码, 又称为哈夫曼编码(Huffman), 一种可变字长编码, 在1952年提出的. 最小冗余编码, 如果知道一组数据中符号出现的频率，就可以用一种特殊的方式来表示符号从而减少数据需要的存储空间. 熵, 根据信息的内容所有的数据都会表现出一定的特性. 当然, 一组数据的熵是每个数据熵的总和. 前缀树, 指一组代码中的任何一个编码都不是另一个编码的前缀. 霍夫曼编码, 是一种基于最小冗余编码的压缩算法, 采用数据中符号和频率构建的二叉树(前缀树). 该二叉树构建过程是将每个符号.
算法——霍夫曼编码压缩算法
u010536615的专栏
04-26 1153
原文地址：http://www.toutiao.com/a6412852281302466818/?tt_from=mobile_qq&utm_campaign=client_share&app=news_article&utm_source=mobile_qq&iid=9676479737&utm_medium=toutiao_android 霍夫曼编码压缩算法，是数据压缩中经典的一种
基于哈夫曼编码的文件压缩
Zyc_cucumber的博客
08-17 9276
文章目录前言一、什么是文件压缩？二、为什么需要文件压缩三、怎样实现文件压缩四、创建哈夫曼树1.哈夫曼编码的方式2.构建一棵哈夫曼树五、压缩1.获取原文件中每个字节出现的次数2.根据字节出现的频次信息构建Huffman树3.获取Huffman编码4.使用Huffman编码来改写文件六、解压缩总结 前言 文件压缩的概念在生活中已经屡见不鲜，在这个信息化的时代，我们每天的生活基本上离不开手机电脑，在手机或电脑上下载软件，应用，基本上都能接触到文件压缩。对于文件压缩来讲，有许多种不同的方式，每种方式也有各自
算法学习（十）——赫夫曼编码用于数据压缩
North_City_的博客
08-19 632
目录定长编码&变长编码赫夫曼编码介绍概念介绍实现流程代码实现 定长编码&变长编码 定长编码 变长编码 赫夫曼编码介绍 概念介绍 赫夫曼编码也翻译为 哈夫曼编码(Huffman Coding)， 又称霍夫曼编码， 是一种编码方式, 属于一种程序算法 赫夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。 赫夫曼编码广泛地用于数据文件压缩。 其压缩率通常在 20%～90%之间 赫夫曼码是可变字长编码(VLC)的一种。 Huffman 于 1952 年提出一种编码方法， 称之为最佳编码。 实
霍夫曼编码的压缩与解压
an_gentle_killer的博客
08-16 1874
赫夫曼编码 百度定义：哈夫曼编码(Huffman Coding)，又称霍夫曼编码，是一种编码方式，哈夫曼编码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码，一般就叫做Huffman编码（有时也称为霍夫曼编码） 在了解赫夫曼编码前先了解一下 定长编码：太长 变长编码：多义性 赫夫曼编码： ...
赫夫曼编码实现数据压缩与解压
zzp1247的博客
09-25 274
赫夫曼编码步骤： 1、分析每个字符出现的次数(包括空格)，并以字符出现的次数作为权值，构建一个赫夫曼树 2、规定向左路径为 '0'，向右路径为 '1'，以此来构成一个前缀编码(赫夫曼编码) 前缀编码就是该编码不是其他任何一个编码的前缀 因为每个字符在赫夫曼树上都是叶子结点，因此以路径为编码不会出现二义性 赫夫曼编码压缩比一般在20%~90%之间 import java.util.*; import java.io.*; public class Test { ...
赫夫曼编码压缩也解压文件
08-27
赫夫曼编码是一种高效的数据压缩方法，主要用于文本和图像数据的压缩。在C语言中实现赫夫曼编码，需要理解数据结构，特别是树结构以及位操作。本项目是基于C语言的数据结构课程设计，旨在让学生掌握赫夫曼编码的原理...
赫夫曼编码----数据压缩
yljdxh的博客
02-29 203
赫夫曼编码-数据压缩 1，首先创建一个需要压缩的遗传字符串String str = “i like like like java do you like a java”; 2，赫夫曼编码就是把在字符串最多的字符放在前面最少的字符放在后面（带全路径最小wpl） 3，然后左路径用0，右路径用1 去代替从而产生新的自己的代码 4，用这些str替换字符 5，再把这些str每8个字符分隔开转成byte字节 ...
C语言实现赫夫曼编码与数据压缩
赫夫曼编码是一种用于数据压缩的高效编码方法，由美国计算机科学家大卫·赫夫曼于1952年提出。这种编码方式利用了频率较低的字符用较短的编码，而频率较高的字符用较长的编码的原则，从而在平均意义上降低了编码长度...
霍夫曼编码压缩
06-19
霍夫曼编码源代码，无损压缩，大家可以试一试，压缩率20%
霍夫曼压缩
CodePanda@GPF的博客
04-06 1249
霍夫曼编码、前缀编码、单词查找树
哈夫曼编码与文件压缩
qq_39749300的博客
08-30 4206
一：哈夫曼树与哈夫曼编码 大家知道，文件压缩的原理么？ 假如我们有一个文件，文件当中仅有 A、B、C、D、E 五种字符，这五种字符出现的频率分别为 5次、4次、3次、2次、1次。 我们知道每个英文字母均占用一个字节，即 8 个比特，所以，我们可以认为原文件的大小就是15个字节，即：120 个比特。 现在，我们要设计一种能够压缩这个文件的算法，你会怎么做？ 固定长度编码 如果这个文件中仅有 A、B、C、D、E 这五种字符，我们可以让 A、B、C、D、E 按照二进制数分别表示为 000，001，010，011，
用哈夫曼编码实现的数据压缩
12-30
用c/c++写的数据结构类的课程设计，用哈夫曼编码实现的数据压缩 ，带文件操作，可压缩，可解压通俗易懂
使用赫夫曼编码压缩数据
stecdeng的专栏
04-21 695
简单来说就是使用二叉树来记录数据，0表示左子树，1表示右子树。到达树的叶子节点就找到我们需要的数据了 比如说字母树 如图 00表示F 01表示Z 1表示D   但是 字母或者单词在文章出现的频率其实是不一样的 比如这么一个场景： 10万个字符的数据文件，由6个字符组成(a,b,c,d,e,f)每个出现频率不一样 a出现四万五千次  b出现一万三千次 C出现一万二千次
用赫夫曼编码完成文件压缩--16页.pdf
09-05
赫夫曼编码是一种高效的数据压缩方法，主要用于文本文件的压缩，尤其在通信和存储领域有广泛应用。该编码方法基于赫夫曼树（也称为最优二叉树），通过为出现频率较低的字符分配较短的编码，而为出现频率较高的字符...
哈夫曼编码的压缩、解码
单引号的博客
08-13 648
哈夫曼编码一、使用哈夫曼编码对字节数组进行压缩1、创建哈夫曼树2、获取每个叶子节点的哈夫曼编码3、获取压缩之后的字节数组4、整合压缩过程二、解码1、将字节转化位一个二进制字符串2、对压缩的字节数组进行解码得到原始的字节数组三、文件压缩四、文件解压五、全部代码 一、使用哈夫曼编码对字节数组进行压缩 1、创建哈夫曼树 节点 class NodeNo implements Comparable<NodeNo>{ Byte data; //存放数据 int weight; //权值 NodeNo
采用Huffman编码进行数据压缩
Little_ant_的博客
02-24 1199
利用哈夫曼编码将英文文献进行压缩，附源码
霍夫曼编码压缩算法
12-21 318
摘自算法爱好者微信号 来源： 陈皓 链接：http://coolshell.cn/articles/7459.html 一个经典的压缩算法Huffman算法。相信大家应该听说过 David Huffman 和他的压缩算法—— Huffman Code，一种通过字符出现频率，Priority Q...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值