信息熵与压缩编码基础

最新推荐文章于 2021-07-21 14:44:41 发布
最新推荐文章于 2021-07-21 14:44:41 发布
阅读量130 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kelezaji/article/details/117365121
版权

目录

什么是信息熵

定义：按照香农的理论，在有限的互斥和联合穷举事件合集中，熵为事件的信息量的平均值，也称事件的平均信息量。
在数学上表示为发
在这里插入图片描述
在这里插入图片描述

例题

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？
在这里插入图片描述
在这里插入图片描述
采用香农-凡诺编码<

最低0.47元/天 解锁文章
kelezaji
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于低熵源编码有效图像压缩算法
10-16
在信息论中，数据压缩是数据处理的难题之一，尤其是图像无损压缩。...提出一种基于两步编码法的图像有效压缩算法，即建模和编码,算法与JPEG-LS灰度图像压缩标准进行对比实验，实验结果证明该算法提高了压缩效率。
关于信息墒与压缩编码基础的学习
zidingyidingyi的博客
05-22 382
文章目录一、信息论中的知识点二、统计编码香农-凡诺编码霍夫曼编码三、关于RGB 一、信息论中的知识点 决策量(decision content) 定义：在有限数目的互斥事件集合中，决策量是事件数的绝对值。 在数学上表示为 H0=log(n) ,其中，n是事件数H_0 = log(n)\ ,其中，n是事件数H0​=log(n) ,其中，n是事件数 决策量的单位由对数的底数决定 Sh(Shannon)：用于以2为底的对数 Nat(natural unit)：用于以e为底的对数 Hart
信息论中的编码及压缩基础
GG的专栏
12-01 3690
大脑是终极的压缩和通信系统。 ----《INFORMATION THEROY,INFERENCE,AND LEARNING ALGORITHMS》
信息论与编码曹课后习题答案
04-24
信息论与编码是通信工程和计算机科学中的核心课程，它主要研究如何高效、可靠地传输和存储信息。马尔可夫信源模型是信息论中用于描述符号序列生成过程的一个重要工具，尤其在数据压缩、语言建模等领域有着广泛应用。...
信息论与编码期末考试题.doc
02-15
本资源摘要信息涵盖了信息论与编码的基础知识点，包括信息论的基本概念、熵、条件熵、信息量、信道容量、香农-费诺编码、哈夫曼编码、线性分组码等。 一、判断题 1. 当随机变量和相互独立时，条件熵等于信源熵。 ...
信息论与编码-曹雪虹-课后习题参考答案.doc
07-26
本文档提供了信息论与编码相关的习题参考答案，涵盖马尔科夫链、状态图、信息熵、自信息量、条件熵等概念。这些概念是信息论和编码的基础，理解和掌握这些概念对于信息技术的应用和发展至关重要。 马尔科夫链是一种...
浅谈信息论和信息编码.docx
最新发布
12-18
"浅谈信息论和信息编码" 信息论是研究信息的度量、编码和传输的...信息论是一门研究信息的度量、编码和传输的学科，是现代信息技术的基础学科之一。信息论的应用非常广泛，对于现代信息技术的发展产生了深远的影响。
信息论与编码期末考试题学生复习用
12-07
* 信源熵（信息熵）：信源的不确定度，衡量信源的随机性和不确定性。 * 条件熵：在给定其他信源的情况下，信源的不确定度。 * 信源编码：将信源信息转换为适合传输和存储的形式的过程。 * 信道编码：将信源信息转换...
信息论与信源编码实验
05-01
信息论与信源编码实验 信息论是研究信息处理、传输和存储的科学，信源编码是信息论中的一种重要技术，用于对信源进行编码和压缩，以提高信息的传输效率和存储密度。该实验旨在通过计算机实验，掌握信息量和信道容量...
《数据压缩与编码》清考复习资料-教程与笔记习题
05-19
8. **熵编码**：包括特征提起和量化，是无损压缩的一种，旨在根据数据的统计特性减少信息熵，降低数据冗余。 9. **图像编码的子图像块大小**：通常使用8x8的M×M块，便于处理和压缩。 10. **霍夫曼编码**：一种变...
信息理论与编码PPT.zip
05-08
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息...
浅压缩编码方式描述文档
08-29
浅压缩编码是一种旨在实现高效编码效率，同时保持较低复杂度的技术，主要应用于数字音视频编解码领域。在AVS（数字音视频编解码技术标准工作组）的标准制定过程中，浅压缩编码是重要的研究方向之一。为了促进新编码...
数据压缩与信息熵
AnneQiQi的博客
07-21 555
http://www.ruanyifeng.com/blog/2014/09/information-entropy.html 作者：阮一峰 日期：2014年9月 7日 1992年，美国佐治亚州的WEB Technology公司，宣布做出了重大的技术突破。 该公司的DataFiles/16软件，号称可以将任意大于64KB的文件，压缩为原始大小的16分之一。业界议论纷纷，如果消息属实，无异于压缩技术的革命。 许多专家还没有看到软件，就断言这是不可能的。因为根据压缩原理，你不可能将任意文件..
数据压缩
weixin_30448685的博客
05-27 96
1992年，美国佐治亚州的WEB Technology公司，宣布做出了重大的技术突破。 该公司的DataFiles/16软件，号称可以将任意大于64KB的文件，压缩为原始大小的16分之一。业界议论纷纷，如果消息属实，无异于压缩技术的革命。 许多专家还没有看到软件，就断言这是不可能的。因为根据压缩原理，你不可能将任意文件压缩到16分之一。事实上，有一些文件是无法压缩的，哪怕一个二进制位，都压...
选取任意图像，对其进行哈夫曼编码，计算平均码字长度，信息熵，压缩比及编码效率。matlab实现
12-02
根据提供的引用内容，我们可以得知对于彩色图像的像素值进行哈夫曼编码和解码，可以分为将像素值的R、G、B值作为独立符号和将像素值的R、G、B值作为联合符号两种情况。而对于任意Q符号N重信源的R进制哈夫曼编码，需要用户输入信源的概率分布，展示编码结果、平均码长、信源熵、编码效率。因此，我们可以根据这些信息回答选取任意图像，对其进行哈夫曼编码，计算平均码字长度，信息熵，压缩比及编码效率的问题。 以下是对于选取任意图像，对其进行哈夫曼编码，计算平均码字长度，信息熵，压缩比及编码效率的步骤和代码实现： 1. 读取图像并将其转换为灰度图像 ```matlab img = imread('image.jpg'); % 读取图像 gray_img = rgb2gray(img); % 将图像转换为灰度图像 ``` 2. 计算灰度图像的像素值的概率分布 ```matlab pixel_num = imhist(gray_img); % 计算每个像素值的数量 pixel_prob = pixel_num / sum(pixel_num); % 计算每个像素值的概率分布 ``` 3. 对灰度图像的像素值进行哈夫曼编码 ```matlab [dict, avglen] = huffmandict(0:255, pixel_prob); % 哈夫曼编码 huffman_code = huffmanenco(gray_img(:), dict); % 获取编码结果 ``` 4. 计算信息熵和平均码字长度 ```matlab entropy = -sum(pixel_prob .* log2(pixel_prob)); % 计算信息熵 avglen = sum(pixel_prob .* cellfun('length', dict(:, 2))); % 计算平均码字长度 ``` 5. 计算压缩比和编码效率 ```matlab img_size = numel(gray_img); % 计算原始图像大小 code_size = numel(huffman_code); % 计算编码后的图像大小 compression_ratio = img_size / code_size; % 计算压缩比 coding_efficiency = entropy / avglen; % 计算编码效率 ``` 6. 输出结果 ```matlab fprintf('信息熵：%.4f\n', entropy); fprintf('平均码字长度：%.4f\n', avglen); fprintf('压缩比：%.4f\n', compression_ratio); fprintf('编码效率：%.4f\n', coding_efficiency); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值