信息论CH1-4

于 2022-11-12 17:12:51 发布
阅读量230 收藏 1
点赞数
文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XiaoyanTang/article/details/127813801
版权

CH1-4

文章目录

CH1 绪论

1.信息论：1984年，香农
信息是认识主体（人、生物、机器）所感受的和所表达的事物运动的状态和运动状态变化的方式
2.客观世界三大基本要素

3.信息分为三个层次：语法信息、语义信息、语用信息
4.有效性：频谱复用程度、频谱利用率
可靠性：输出信噪比、传输错误率
安全性：信息加密强度
5.信源->编码器->信道->译码器->信宿
6.信道编码定理、无失真信源编码定理、限失真信源编码定理

CH2 离散信息的度量

在这里插入图片描述
2.1.1自信息
在这里插入图片描述
关于对数的选取
在这里插入图片描述
自信息的含义：
事件发生前→事件发生的不确定性
事件发生后→事件包含的信息量

联合自信息

最低0.47元/天 解锁文章
Goodluckforty
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
信道 | 信息论
Clifnich
10-22 2882
离散无记忆信道信息的传播有三个部分： 输入 通道 输入 当输入只有3种符号的时候，每一种符号对应一个概率，那么我们就可以把输入分布用表格的形式写出来： X X1X_1 X2X_2 X3X_3 P P1P_1 P2P_2 P3P_3 要写输入分布也是同样的套路，把 XX 替换成 YY 即可。信道就是信息传播的通道，我们用一个信道矩阵来表示传播过程。对称的信道矩阵这里的对称与高等代数里面的
Mutual Information
adam_tu的专栏
09-24 2265
互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。   平均互信息量定义:     互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。 平均互信息量的物理含义
高斯分布的熵
HEGSNS的博客
03-14 9730
高斯分布的熵很简单： H[N(μ,σ2)]=−∫x12πσe−(x−μ)22σ2log⁡12πσe−(x−μ)22σ2dx=−∫x12πσe−(x−μ)22σ2[−12log⁡2πσ2−(x−μ)22σ2]dx=12log⁡2πσ2+12σ2∫x(x−μ)212πσe−(x−μ)22σ2dx=12log⁡2πσ2+σ22σ2=12log⁡2πeσ2 \begin{aligned} H[\mathc...
深度学习基础知识——信息论（自信息、信息熵与马尔科夫链）
Wendy的博客
10-21 3672
信息论是在信息或不确定性可度量的前提下，研究有效、可靠、安全地传输信息的科学。 （【注】：符号约定：大写字母表示集合，小写字母表示集合中的事件） 1.前言 从常识来看，小概率事件的不确定性大，一旦出现必然使人感到意外，因此产生的信息量就大，特别是几乎不可能出现的事件一旦出现，必然产生极大的信息量；大概率事件是预料之中的事件，不确定性小，即使发生也没什么信息量，特别是概率为1的确定事件发生以后，不会给人以任何信息量。一般的，事件发生的概率越小，其不确定性越大，事件发生以后所含有的信息量就越大。 2.自信息与互
信息论， 熵
xiaojiajia007的博客
10-13 615
转载自：点击打开链接 1.概率与信息量为什么是对数关系的原理： http://colah.github.io/posts/2015-09-Visual-Information/ 2.交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数...
CH1-PPT.rar
10-03
通常，如果PPT是整个系列的一部分，文件名可能包含更多的信息，如"CH1-Introduction.pptx"，暗示这是系列的开头，主题为介绍。 总结一下，"CH1-PPT.rar"是一个包含第一章PowerPoint演示文稿的RAR压缩文件，可能涉及...
Ch1-6(有内容)1
08-03
总结来说，软件工程不仅关注技术实现，更注重方法论和实践经验，它要求开发者具备全面的视角，理解和掌握软件的本质，灵活应对不断变化的需求和技术环境，同时遵循一定的原则和框架，以实现高质量、可持续的软件产品...
管理信息系统：ch09-Building Information Systems.pdf
09-20
《管理信息系统：Building Information Systems》一书的第九章主要探讨了如何构建信息系统的主题，这一领域在现代企业管理中起着至关重要的作用。本章涵盖了从系统规划到实施的全过程，涉及多个关键知识点。 首先，...
计算机毕业设计-微信小程序的上门维修系统_ch--+论文+项目源代码.rar
最新发布
04-18
系统会根据用户需求智能匹配附近的维修师傅，并实时显示其位置、服务状态及评价信息，确保用户能够享受到快速响应的服务。 在维修过程中，用户可以通过小程序实时跟踪维修进度，并与维修师傅进行在线沟通，确保问题...
STM32+ZE08-CH2O甲醛传感器+LCD1602显示.rar
01-12
4. **用户界面设计**：在LCD1602上合理布局显示，可能包括甲醛浓度值、单位、时间等信息。 5. **电源管理**：根据项目需求，可能需要考虑低功耗模式，以延长电池寿命。 6. **软件调试**：使用如STM32CubeIDE或Keil...
信息与不确定性
haishaoli的专栏
07-20 7362
最近学习了吴军的《信息论40讲》，深有感触，有感而发！ 本博文想要给你传递（或者说洗脑）两个主要观点： “信息是可以量化的，用事件的不确定性表示”， “增加相关信息，会减小其不确定性”。 咱们先搞清楚以下五个概念，他们是层层递进的。 信息量 信息熵 交叉熵 相对熵 互信息 一、信息量 咱们一起来玩一玩Yes or No的游戏。随便你问什么都可以，但我的答案只有YES或者NO。 ...
决策树
panjiao119的博客
06-09 1211
1  决策树学习是以实例为基础的归纳学习算法，是应用最广泛的逻辑方法。 2  典型的决策树学习系统采用自顶向下的方法，在部分搜索空间中搜索解决方案。它可以确保求出一个简单的决策树，但未必是最简单的。 3  决策树常用来形成分类器和预测模型，可以对未知数据进行分类或预测、数据挖掘等。从20世纪60年代，决策树广泛应用在分类、预测、规则提取等领域。 4  用决策树分类的步骤：    第一步：利
信息熵（不确定性）的理解与解释
weixin_43348682的博客
10-16 9555
补充： 熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。 总结： 1、某随机事件结果的种类越多，该事件的熵越大 2、某随机事件的各种可能发生的结果概率越均匀，该事件的熵越大 ...
带本信息论看《三体》——信息论课程论文
weixin_47255475的博客
02-13 1423
摘要 本文以信息论的视角为切入点去审视并解读科幻小说《三体》中的相关段落与情节。先后列举了：（1）根据自信息量的定义式和理解解释小说中的一句经典台词和一个故事情节。（2）从不确定性的角度和通信系统模型的方法分别去理解和诠释小说情节中对信息论知识具有直接描写的相关情节。（3）根据博弈论的理论方法将情节中的模型简化后加以演绎，用不同的演绎结果对小说中猜疑链的概念用互信息两面性进行辩证解读。（4）根据平均互信息极值性解释小说中的童话故事解读失误导致人类灭亡。 关键词： 《三体》；自信息量；通信系统模型；互信息；熵
复随机变量及高斯熵的概念
伊谢尔伦的林中小路
04-10 1313
文章目录复随机变量复随机信号复随机变量的二阶统计特性圆系数和高斯熵圆系数高斯熵 复随机变量 复随机信号 复随机信号x\bf{x}x的概率分布函数pdf为: px(x)=px(xr+jxi) p_x({\bf{x}}) = p_x(x_r+jx_i) px​(x)=px​(xr​+jxi​) 对函数求其期望值有g:N→CNg:N{\rightarrow}{C^N}g:N→CN,其中复随机信号bfxbf{x}bfx的取值在定义域NNN中。 E(g(x))=E(Re[g(x)])+jE(Im[g(x)]) E(g
信息论——熵
ChenYuhan1987的专栏
12-06 3063
前置知识 　 　　 　　　　上述公式是自信息量公式，该单位取决于对数的底，若以2为底，则单位为比特（bit），以e为底，单位为奈特，以10为底，单位为哈特。通常我们取比特为单位。 熵 　　　　熵是从整个集合的统计特性来考虑的，他从平均意义上来表征信源的总体特征。 　　　　公式如下： 　　　　信息熵具有以下两个物理含义： 　　　　　　1.表示信源输出前，信源...
离散随机变量的熵的推导
jiongjiong 的专栏
12-29 4621
离散随机变量的熵的推导
赫夫曼编码信息论，c或者c++实现
05-30
赫夫曼编码是一种基于编码概率的算法，可以用于数据压缩和信息传输等方面。下面是一个简单的 C++ 实现示例： ```cpp #include <iostream> #include <queue> #include <vector> #include <unordered_map> using namespace std; struct Node { char ch; int freq; Node *left, *right; Node(char ch, int freq) : ch(ch), freq(freq), left(nullptr), right(nullptr) {} ~Node() { delete left; delete right; } }; struct Compare { bool operator()(const Node* a, const Node* b) const { return a->freq > b->freq; } }; Node* buildHuffmanTree(const unordered_map<char, int>& freqMap) { priority_queue<Node*, vector<Node*>, Compare> pq; for (auto& p : freqMap) { pq.push(new Node(p.first, p.second)); } while (pq.size() > 1) { Node *left = pq.top(); pq.pop(); Node *right = pq.top(); pq.pop(); Node *parent = new Node('\0', left->freq + right->freq); parent->left = left; parent->right = right; pq.push(parent); } return pq.top(); } void encodeHuffmanTree(Node* root, string code, unordered_map<char, string>& codeMap) { if (!root) return; if (root->left == nullptr && root->right == nullptr) { codeMap[root->ch] = code; } encodeHuffmanTree(root->left, code + '0', codeMap); encodeHuffmanTree(root->right, code + '1', codeMap); } void encode(const string& str, const unordered_map<char, string>& codeMap) { cout << "Encoded message: "; for (char ch : str) { cout << codeMap.at(ch); } cout << endl; } int main() { string message = "hello world"; unordered_map<char, int> freqMap; for (char ch : message) { freqMap[ch]++; } Node* root = buildHuffmanTree(freqMap); unordered_map<char, string> codeMap; encodeHuffmanTree(root, "", codeMap); encode(message, codeMap); delete root; return 0; } ``` 在这个示例中，首先使用 `unordered_map` 统计了输入字符串中每个字符出现的频率。然后使用一个最小堆来构建赫夫曼树，每次从堆中取出两个频率最小的节点合并成一个新的节点，直到堆中只剩下一个节点为止。接着遍历赫夫曼树，对于每个叶子节点记录下该字符的编码，最终得到一个字符到编码的映射。最后使用该映射对输入字符串进行编码输出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值