信息熵与两种编码基础

最新推荐文章于 2021-12-13 10:26:21 发布
最新推荐文章于 2021-12-13 10:26:21 发布
阅读量383 收藏
点赞数
文章标签： bmp 霍夫曼树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45134710/article/details/117326440
版权
本文介绍了信息熵的概念，作为衡量信息不确定性的标准。接着详细阐述了香农-凡诺编码和霍夫曼编码两种数据压缩方法，通过示例计算了它们在特定消息字符串上的压缩率。同时，探讨了RGB及BMP图像的空间占用，解析了24位RGB图像在内存中的字节数以及BMP文件的结构和大小计算。
摘要由CSDN通过智能技术生成

文章目录

一、信息熵

  • 信息中排除了冗余后的平均信息量称为“信息熵”
  • 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量
  • 信息熵的定义公式
    在这里插入图片描述

二、香农-凡诺编码与霍夫曼编码

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

1.香农-凡诺编码

  1. 将所有的字母按照出现的次数由多到少、从左到右进行排序
符号 E C A B D
计数 19 9 6 4 4
  1. 然后划分两边，使两边出现次数的差尽可能小
最低0.47元/天 解锁文章
无由无
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
浅谈信息熵与压缩编码
CHL的博客
05-28 521
目录一、什么是信息熵 一、什么是信息熵 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。 直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathem
信息熵与压缩编码基础
li_de_kun的博客
05-27 549
信息熵与压缩编码基础 文章目录信息熵与压缩编码基础一、什么是信息熵二、信息熵的计算与两种编码方式的压缩率计算香农-凡诺编码霍夫曼编码BMP文件内存验证 一、什么是信息熵 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。也可以理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵是系统有序化程度的一个度量。 二、信息熵的计算与两种编码方式的压缩率计算 一串消息包含A，B，C，D，E共5类符号，其内容是AABBB
信息熵与编码
weixin_45888898的博客
05-28 697
文章目录一、信息熵二、题目1.香农-凡诺编码2.霍夫曼编码三、实验证明 一、信息熵 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。 直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 二、题目 任务要求 一串消息包含A，B，C，D，E共5类符号，其内容
信息熵与编码定理
Jensen Lee的博客
04-08 2410
惊奇度与信息量 定性描述 惊奇度：一个事件的惊奇度是指该事件发生时我们所感到的惊奇程度 信息量：一条信息的信息量是指该信息所含信息的多少。一条信息越是让我们感到惊奇，它所含信息量就越大 对于一个掷骰子的试验，假设E代表掷出点数为偶数（概率为1/2），我们对于事件E发生的惊奇程度并不大，但是当E代表掷出点数为6（概率为1/6），我们的惊奇程度就会很大。同样的我们会认为，“明天太阳会从东边升起”这句话...
信息论与编码理论基础PPT
06-24
《信息论与编码理论基础PPT》是一份涵盖了信息论和编码理论核心概念的教学资料，主要针对学习者提供深入理解这一领域基础知识的支持。王育民版的习题答案则为学习者提供了实践和检验理解的平台，使得理论知识能够...
yuandaima.rar_信息熵 编码_免疫分割
07-15
在这个场景中，"yuandaima.rar_信息熵 编码_免疫分割" 提供了几个关键概念，包括信息熵、编码和免疫分割，这些都是在解决特定问题时会用到的技术。 首先，让我们来探讨一下信息熵。信息熵是信息理论中的一个核心...
信息论与编码曹雪虹课后习题答案
最新发布
10-14
本资源是信息论与编码相关的课后习题答案，涵盖了信息论的基础概念、马尔可夫链、熵和信息量等多个方面的知识点。 2.1 马尔科夫链状态图和稳态概率 本题目要求画出状态图并求出各符号的稳态概率。通过状态图，我们...
DCT.rar_信息论与编码
09-24
本资料包中提到的“有两种方法实现”，可能指的是标准算法和快速算法。标准算法直接基于DCT的定义进行计算，虽然精确但效率较低；而快速算法，如Cooley-Tukey FFT算法的变种，通过巧妙的算法设计显著减少了计算量，...
信息论与编码答案，王育民版
01-02
信息论与编码是通信工程、计算机科学等领域的重要基础课程，它研究如何有效地传输和存储信息，以及如何在存在噪声和干扰的情况下恢复原始信息。 信息论部分主要涵盖以下几个关键概念： 1. **熵（Entropy）**：熵是...
香农-范诺编码
05-22
用于C++语言，实现对多媒体中香农-范诺算法的编码与解码！整个程序运行没有任何问题。
信息熵中的算术编码
天使爱美丽
08-20 609
算术编码 (转) 我们在上一章中已经明白，Huffman 编码使用整数个二进制位对符号进行编码，这种方法在许多情况下无法得到最优的压缩效果。假设某个字符的出现概率为 80%，该字符事实上只需要 -log2(0.8) = 0.322 位编码，但 Huffman 编码一定会为其分配一位 0 或一位 1 的编码。可以想象，整个信息的 80% 在压缩后都几乎相当于理想长度的 3 倍左右，压...
熵编码概述
wangbuji的博客
12-13 7078
一、熵编码基本原理 熵编码即编码过程中按熵原理不丢失任何信息的无损编码方式，也是有损编码中的一个关键模块，处于编码器的末端。信息熵为信源的平均信息量（不确定性的度量）。常见的熵编码有：香农(Shannon)编码、哈夫曼(Huffman)编码，指数哥伦布编码(Exp-Golomb)和算术编码(arithmetic coding)。由于熵编码的是编码器通过量化、变换、运动、预测等一系列操作之后得到的需要编码的符号，根据编码符号的分布情况选择适合的熵编码模型，因此熵编码是一个相对独立的单...
机器学习面试：信息熵
he_wen_jie的博客
07-30 1307
信息编码我所知道的信息量是来源于信息编码，例如，我们有一篇英文文章，我要对这篇文章尽进行二进制编码，以达到压缩文章的效果，我该如何编码。我们知道，ASIIC编码都是使用相同长度的二进制来编码的（8位长），例如， A0100 0001B0100 0010 a0110 0001b0110 0010 10011 000120011 0010可是我们也知道文章中有的字符出现的次数比较
Shannon-Fano编码——原理与实现
热门推荐
Rachel Zhang的专栏
09-26 3万+
香农-范诺算法（Shannon-Fano coding）原理 和Huffman-Tree一样，Shannon-Fano coding也是用一棵二叉树对字符进行编码。但在实际操作中呢，Shannon-Fano却没有大用处，这是由于它与Huffman coding相比，编码效率较低的结果（或者说香农-范诺算法的编码平均码字较大）。但是它的基本思路我们还是可以参考下的。
信息熵与压缩编码
qq_46051625的博客
05-24 401
实验要求： 1.什么是信息熵？ 2.一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？ 3.一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。 信息熵与压缩编码一、什么是信息熵？1.1信息熵的定义1.2信息熵的是那个性质 一、什么是信息熵？ 引入： 信
熵编码原理
嵌入式与人工智能
05-26 5484
熵编码原理一.熵编码原理1.原理介绍2.常见方案3.整数位元法4.熵编码模型二.熵编码CABAC介绍1.二进制化2.上下文建模3.二进制算术编码常规编码区间重归一化旁路编码 一.熵编码原理 1.原理介绍 熵编码即编码过程中按熵原理不丢失任何信息的编码。信息熵为信源的平均信息量（不确定性的度量）。常见的熵编码有：1.香农(Shannon)编码、2.哈夫曼(Huffman)编码 3.算术编码(arithmetic coding)** **4.行程编码 （RLE） 5.基于上下文的自适应变长编码（CAVLC） 6
香农编码、费诺编码、哈弗曼编码
goodman_lqifei的博客
01-02 1万+
 香农编码 香农编码法冗余度稍大，实用性不大，但有重要的理论意义。 编码步骤如下： （1） 将信源消息符号按其出现的概率大小依次排列                                   p（x1）≥p（x2）≥„≥p（xn） （2） 确定满足下列不等式整数码长Ki：             -log2p(xi)≤Ki＜-log2p(xi)+1 （3） 为
香农编码Shannon
chuan_zhang_ak的博客
07-05 1万+
一、香农编码的概念 概念： 香农编码是是采用信源符号的累计概率分布函数来分配字码的。香农编码是根据香农第一定理直接得出的，指出了平均码长与信息之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理是将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。 香农编码属于不等长编码，通常将经常出现的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值