由香农定理看数据压缩的本质

最新推荐文章于 2024-07-31 23:57:00 发布
最新推荐文章于 2024-07-31 23:57:00 发布
阅读量5.1k 收藏 4
点赞数
分类专栏： 杂 文章标签： 数据压缩 压缩 香农定理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamerway/article/details/22718823
版权
本文从香农定理出发，探讨数据压缩的本质。通过举例说明，指出压缩是在保持信息量不变的情况下，用更少的空间表示数据。介绍了信息熵的概念，以及在压缩过程中的作用。同时，讨论了压缩的极限，以及信息熵理论在解决实际问题中的应用，如寻找不同质量的球的最优称量策略。
摘要由CSDN通过智能技术生成

        开门见山上结论：所谓的压缩就是在不损失信息量的前提下，用新的描述方式表示原有的数据，而这种方式占用的空间更少。

        先来个小例子：有一段文字“我我我我我我有点喜欢喜欢喜欢喜欢lxlxlxlxlxlxlx”一共14个汉字加上14个字符，现在采用某种压缩算法，将其压缩为这样一种形式“6个我1个有点4个喜欢7个lx”一共9

最低0.47元/天 解锁文章
Kerwinliu
关注
专栏目录
【图像压缩】基于香农熵多级阈值实现图像压缩附matlab代码
qq_59747472的博客
05-18 651
1 简介 图像压缩是图像传输和存储中的最重要步骤之一，图像压缩技术可以分为两种方式即有损和无损压缩。有损压缩的特点是一些重要的数据可能会因为压缩被覆盖，这不会发生在无损压缩中，因此有损压缩一般用于流媒体和电话应用程序。无损压缩的要求比有损压缩的要求高很多，使得在压缩之后图像的各个部分都能得到保留，而不是被覆盖，因此主要应用于航空航天和医学应用领域。​ 2 部分代码 ​%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
c语言香农编码文件压缩,谈谈熵编码无损压缩的原理
weixin_33539912的博客
05-20 1126
一、概要在项目开发中，有引入用到rANS熵编码压缩算法，在使用的背后，想看看其运行的基本原理，也算补一下个人的熵编码知识。这里提到的熵编码压缩算法都是无损压缩。很久没有写文章了，太忙了，不知道一年一篇文章算不算年更 :b二、熵编码目前较为成熟的熵编码是霍夫曼编码，算术编码，以及14年Duda提出的ANS(Asymmetric Numeral Systems 非对称数系)编码。先解释一下霍夫曼编码和...
数据压缩的本质
jinking01的专栏
03-31 3516
对超大规模网络进行划分，得到诸多子图，是否可以用熵来解决呢？对于一个给定的图，其信息量是固定的，图划分会给图的信息带来什么？图的划分或者折叠，是否就是对图的压缩呢？ 先来个小例子：有一段文字“我我我我我我有点喜欢喜欢喜欢喜欢lxlxlxlxlxlxlx”一共14个汉字加上14个字符，现在采用某种压缩算法，将其压缩为这样一种形式“6个我1个有点4个喜欢7个lx”一共9个汉字加上6个字符（包括数字跟...
香农（Shannon）定理
最新发布
qq_44186392的博客
07-31 456
3)只要信息传输速率低于信道的极限传输速率，就能找到某种方法实现无差错的传输。4)香农定理得出的是极限信息传输速率，实际信道能达到的传输速率要比它低不少。奈氏准则只考虑了带宽与极限码元传输速率之间的关系，而香农定理不仅考虑了带宽，也考虑了信噪比。香农定理给出了带宽受限且有高斯噪声干扰的信道的极限数据传输速率，当用该速率传输数据时，不会产生误差。其中，W为信道的带宽（以Hz为单位），S位信道内所传信号的平均功率，N为信道内部的高斯噪声功率。2)对一定的传输带宽和一定的信噪比，信息传输速率的上限是确定的。
香农-范诺算法压缩举例
GROWING
06-18 2898
香农的信息论
weixin_30247307的博客
08-29 669
之前只知道香农于1948年发表的那篇举世瞩目的paper，《A Mathematical Theory of Communication》，过了一年拉上Warren Weaver作为共同作者出了个单行本，标题只改了一个字，《The Mathematical Theory of Communication》，而Weaver的贡献只是写了份摘要。随手搜了下，原论文索引竟然高达八万多次...... ...
信息论课件、香农定理、信道编码
04-20
信源编码的主要目标是减少冗余，提高数据压缩效率。 2. 信道容量定理：香农给出了信道容量的公式，即一个有噪信道的最大信息传输速率，当信道编码的错误率趋近于零时，该速率可以被长期稳定地达到。信道容量取决于...
【计算机网络】信源编码——香农三大定理
Sunnyside_
07-07 6789
香农定理
数据流压缩原理实现（huffman编码，LZ77压缩算法)
sesiria的博客
05-23 6311
1. 压缩原理deflate算法 a) LZ77 算法原理 b) Huffman算法原理 c) Huffman算法测试实例 2. gzip格式分析 3. zlib库函数API分析 4. zlib库实战(压缩和解压文件) 一、数据压缩的原理 规则压缩：已知数据的排列组合模式，通过抽象用数学公式来表示。比如矢量图，3D模型的顶点数据等。 对于未知规则的数据：则是采用一种更高效的编码来代替原有数据的编码。一种方法是找出数据中那些重复出现的字符串，然后用更短的符号代替...
图像压缩编码——香农/哈夫曼编码
quickefficient的博客
05-24 5219
图像压缩编码——香农/哈夫曼编码一、信息熵二、香农-范诺编码2.1 香农-范诺编码简述2.2 特例详解三、哈夫曼编码3.1 哈夫曼编码简述3.2 特例详解四、RGB图像压缩Ending、参考资料 一、信息熵 信息百度百科：信息，指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西
小波理论在信号去噪和数据压缩中的应用研究
11-06
小波变换通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析是时间和频率的局部变换，能有效地从信号中提取信息，因而成为当前一种新兴的信号处理技术。小波变换在过程数据处理的信号去噪和数据压缩等方面的应用，愈来愈受到人们的重视。 本文对小波变换在过程数据的信号去噪和数据压缩中的应用进行了研究。
信息熵与压缩编码基础
qq_43643118的博客
05-27 521
信息熵与压缩编码一、信息熵二、例题三、小结 一、信息熵 信息熵 信息是一个比较抽象的概念，信息熵的概念在1984年由香农第一次提出，它的本质是对我们司空见惯的“不确定现象”的数学化度量。譬如说，如果天气预报说“今天中午下雨的可能性是百分之九十”，我们就会不约而同想到出门带伞；如果预报说“有百分之五十的可能性下雨”，我们就会犹豫是否带伞，因为雨伞无用时确是累赘之物。显然，第一则天气预报中，下雨这件事的不确定性程度较小，而第二则关于下雨的不确定度就大多了。 参考信息熵是什么 二、例题 一串消息包含
经典加解密算法——香农算法介绍（附源码！）
qq_41308872的博客
06-08 1万+
香农算法（Shannon-Fano 编码）是克劳德·香农在1948年发表的《A Mathematical Theory of Communication》中提出的一种基于数据统计的无损压缩编码算法。该算法主要通过计算不同字符在原始数据中出现的频率，并基于这些频率为每个字符分配一个唯一的编码来实现无损压缩。
【信息论与编码 沈连丰】第三章：离散信源
zjp的博客
01-03 934
【信息论与编码 沈连丰】第三章：离散信源
通信原理（三）香农三大定理
拟古的新打油诗的博客，输出人工智能、计算机软硬件、通信网络等领域原创内容，欢迎关注。
04-02 1万+
文章目录1、香农第一定理定长编码定理：2、香农第二定理2.1、香农公式加性高斯白噪声AGWN2.2、两个准则3、香农第三定理 香农三大定理是存在性定理，虽未提供具体的编码实现方法，但为通信信息的研究指明了方向。 1、香农第一定理 也称变长编码定理、可变长无失真信源编码定理： 给定熵为H(X)的离散无记忆信源及有D个元素的码符号集,总可以找到一种无失真编码方法构成唯一可译码使其平均码长满足:H(X)logD≤nˉ<1+H(X)logD(此时为最佳码,nˉ>1+H(X)logD时也能找到唯一可译码)
香农三大定律
热门推荐
qq_34623223的博客
12-15 4万+
香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。 香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。 香农第三定理：保真度准则下的信源编码定理，或称有损...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值