信息论基础学习笔记（3）

最新推荐文章于 2024-01-03 12:11:40 发布
最新推荐文章于 2024-01-03 12:11:40 发布
阅读量1k 收藏 7
点赞数 2
分类专栏： QM 文章标签： 信息论 渐进等同分割 典型序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43991713/article/details/102751426
版权
本文探讨了信息论中的渐进等同分割性质（AEP）和典型序列的概念。通过分析独立同分布的随机序列，解释了如何理解序列自信息与熵的关系，并通过示例展示了典型序列在熵贡献中的集中现象。随着序列长度增加，典型序列的特征更加明显，成为理解熵的关键。
摘要由CSDN通过智能技术生成

信息论基础学习笔记（3）

这里我想分享一下我学习渐进等同分割性质（Asymptotic Equalpartition Property，AEP）和典型序列（typical set）的感受。

传统上，这个定理的说法是这样描述的：

对于独立同分布(independent identically distributed, iid) 的随机序列 X ( n ) X^{(n)} X(n)。 X ( n ) = X 1 X 2 … X n X^{(n)} = {X_1X_2\dots X_n} X(n)=X1​X2​…Xn​ 满足： lim ⁡ n → ∞ , 1 n log ⁡ ( 1 p ( X 1 X 2 … X n ) ) → H ( X ) \lim n\rightarrow \infin, \frac 1n\log(\frac{1}{p(X_1X_2\dots X_n)})\rightarrow H(X) limn→∞,n1​log(p(X1​X2​…X

最低0.47元/天 解锁文章
前輩的後生
关注
专栏目录
信息论基础（学习笔记整理）
canxuezhang的博客
06-08 5万+
整理信息论基础的知识点。
信息论典型序列原理验证程序
01-16
产生随机序列，从中判断典型序列，计算非典型序列的比例
典型序列及信源编码的一种理解
热门推荐
找寻最初的美
06-07 1万+
距离上一篇文章，应该有半年的时间了。这半年有太多的不顺，不安，不静，以至于我真的没有心思来写点感悟或是理解。为了不传播负能量，我决定略过那些烦心事，因为自己希望看我博客的读者都有一颗快乐的心；同时，看着来访量的渐渐增加，心里还是有说不出的感动。我为什么要写这些玩意？请允许我首先借用一位登山家解释他为什么要去登山时的回答：“因为那座山峰在那里”。王小波很喜欢这个答案，他说：“明明是自己想登山，偏说是
信息论-复习笔记
weixin_34293141的博客
12-27 625
典型序列: 　　信源有p个编码，，，，每个编码有一个出现的概率 　　那么对于这个信源发出的n长序列 　　一共有pn个n长序列 　　其中有一小部分，出现的概率较大，称为典型序列 　　其他的序列，出现的概率特别小，称为非典型序列 计算典型序列的概率: 　　 2-N(H(x) + ε)　<= p <=　2-N(H(x) - ε) 　　ε表示，将序列出现的概率>ε作为典...
渐近等分特性，典型序列，香农第一定理
weixin_45630887的博客
03-09 2444
AEP:渐近等分特性 是独立同分布的随机变量序列，则 是以概率意义成立的。这个公式推导依据大数定律和独立同分布特性得到，当n趋于无穷大时。 typical set 典型序列 关于p(x)的典型集是序列的集合 这是基于渐近等分特性的，所以此时的x之间必须独立同分布，且满足下列等式的集合H(X)是这个随机变量的熵，注意不是n个随机变量组成的随机序列的联合熵 典型序列有如下性质：后面的编码定理等都是...
常用典型序列
最新发布
m0_70886513的博客
01-03 1717
常用典型序列是一类特殊的序列，它们的形式简单且具有特定的数学性质，被广泛应用于信号分析、系统建模、通信调制等方面。本文将介绍几种常见的典型序列，包括单位冲激序列、阶跃序列、正弦序列以及矩形序列。单位冲激序列是在离散时间点上取值的序列，其中只有一个时间点上的取值为1，其他时间点上的取值为0。阶跃序列是在离散时间点上取值的序列，其中在一个时间点上的取值为1，该时间点之前的取值为0。正弦序列在信号处理和通信系统中具有广泛的应用，例如在调试系统时可以通过正弦序列来测试系统的频率响应。
信息论基础学习笔记（1）
前輩的後生的博客
10-01 697
信息论基础 学习笔记（1） 前提 信息论主要的研究对象是关于随机变量的信息熵和信道。这里面假设了几点： 存在信息量，它只与随机变量的概率分布有关，满足可加性等性质 信道的本质是密度转移矩阵 这里的信息与0或1出现的顺序无关，只与一列01序列中的概率有关。我们首先定义1比特（bit）（其实信息无关01序列，其他的也可以，这里仅是举例） 1bit的信息量:=区分一枚均匀的硬币是正是反所需要的信息量...
《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（DL笔记整理系列）1
08-03
《繁凡的深度学习笔记》第三章主要涵盖了分类问题与信息论的基础知识，这是深度学习领域中的重要概念。本章的重点在于逻辑回归和Softmax回归这两种常用的分类模型，以及信息论的基本原理，这些内容对于理解和解决...
信息论基础学习笔记（2）
前輩的後生的博客
10-01 823
信息论基础 学习笔记（2） 基础概念间的不等式关系 信息不等式： D(p∣∣q)≥0D(p||q)\ge 0D(p∣∣q)≥0 互信息的非负性： I(X;Y)≥0I(X;Y)\ge 0I(X;Y)≥0 熵的极值： Hp(X)≤Hu(X)=log⁡∣χ∣H_p(X)\le H_u(X)=\log |\chi|Hp​(X)≤Hu​(X)=log∣χ∣ 条件减少熵： H(X∣Y)≤H(X)H(X|Y)...
数字信号处理—常用的典型序列
weixin_53490114的博客
06-06 8296
其中，n是离散时间索引，N是矩形序列的宽度。定义：矩形序列，又称为单位脉冲串或者矩形波，是在离散信号和系统分析中使用的一个基本序列。定义：单位阶跃序列通常是在离散时间信号和系统分析中使用的一个基本序列，它也被称为Heaviside步进函数在连续时间系统中。在这个公式中，A控制了正弦波的高度，ω决定了波形的频率，即每单位时间内循环的次数，而φ控制了波的起始位置，即正弦波的相位。其中，n是离散时间索引，A是振幅，ω是角频率（通常以弧度/样本表示），φ是相位偏移（通常以弧度表示）。当n小于0时，u[n]等于0。
典型序列和非典型序列
chen的博客
01-03 629
回到硬币投掷的例子，一个非典型序列可能是连续投掷很多次都得到相同的面（比如连续出现10次正面），这样的序列在单次投掷中的概率是比较低的，当重复次数很多时，出现这种情况的概率会趋近于0。如果硬币是公平的，出现正面和反面的概率相等，那么连续投掷很多次，出现一半是正面一半是反面的序列将是典型序列，因为这种情况的概率非常高。非典型序列可能是出现极端的情况，比如连续多次投掷都出现相同的一面。非典型序列则是指在一个随机过程中出现概率较低的序列，它们在大数定律的意义下，当重复试验次数趋近于无穷大时，其出现的概率趋于0。
数字信号处理复习——常见的典型序列
qq_41820852的博客
12-08 6680
常见的典型序列 单位脉冲序列 单位采样序列： 单位脉冲序列又称单位采样序列，它的特点是仅在n=0的时候取值为1，其他的时候取值为0； 单位阶跃序列 矩阵序列 其中，N称为矩形序列的长度 实指数序列 x(n)=anμ(n)x(n)=a^n μ(n)x(n)=anμ(n) 当∣a∣>1|a|>1∣a∣>1时，x（n）随a的增大而减小，当∣a∣<1|a|<1∣a∣&l...
几种最常用的典型序列
weixin_45093110的博客
05-02 5641
单位脉冲序列(Unit impulse sequence) δ(n) = ｛1 n=0；0 n≠0｝ 单位阶跃序列(Unit step sequence) u(n) = ｛1 n≥0；0 n＜0｝ 矩形序列(Rectangle sequence) RN(n) = ｛1 0≤n≤N-1；0 n＜0，n≥N｝ 实指数序列(Real exponential sequence) x(n) ...
数字信号常用典型序列（1）
weixin_39619674的博客
11-18 1937
1.单位脉冲序列（单位采样序列）σ(n)={...,0,1‾,0,...}\sigma(n)=\{...,0,\underline{1},0,...\}σ(n)={...,0,1​,0,...} 即 σ(n)={1,n=00,n≠0\sigma(n)=\begin{cases}1, & n=0\\0, & n \neq 0 \end{cases}σ(n)={1,0,​n=0n​=0​ aσ(n)={a,n=00,n≠0a\sigma(n)=\begin{cases}a, & n=0
第一章 离散时间信号与系统之一
dujuancao11的博客
05-27 1092
第一章 离散时间信号与系统 学习目标 掌握序列的概念及其几种典型序列的定义,掌握序列的基本运算，并会判断序列的周期性。 掌握线性/移不变/因果/稳定的离散时间系统的概念并会判断，掌握线性移不变系统及其因果性/稳定性判断的充要条件。 理解常系数线性差分方程及其用迭代法求解单位抽样响应。 了解对连续时间信号的时域抽样，掌握奈奎...
信息论基础第三章阅读笔记
chen的博客
10-09 598
在信息论中，与大数定律类似的是渐进均分性(AEP)，它是弱大数定律的直接结果。大数定理针对独立同分布(i.i.d.)随机变量………………因此，当n很大时，一个观察序列出现的概率pX1​X2​...Xn​近似等于2−nHpX1​X2​...Xn​HHXHX−x∑​pxlog2​px))px2−nH2−nH。
【计算机科学与技术】信息论笔记（2）： 渐近均分性
招财猫qwq的博客
07-31 1623
本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第二章：渐近均分性~
【通信原理 入坑之路】——信息论部分 之 离散无记忆信源的等长编码
凝望，划过星空的博客
10-24 2081
课本上的讲解公式实在是太多啦！看得人头大，那么本文试图从繁杂的公式中梳理一下几种等长编码的方法，并在最后给出一些解题技巧。我们开始吧！ 文章目录离散无记忆信源的等长编码1.1 单符号等长编码1.2 联合编码1.3 典型序列编码 离散无记忆信源的等长编码 首先，给出一个长度为 nnn 的离散无记忆信源：{X1,X2,⋯ ,Xn} \{X_1, X_2, \cdots, X_n\}{X1​,X2​,⋯,Xn​} 接下来，我们对这个离散信源进行分组（JJJ个为一组），那么根据排列组合的知识我们知道，最多可以得.
机器学习基础：概率论与信息论入门
作者路彦雄分享了他的个人学习笔记和理解，将理论与实践相结合，以帮助读者更好地掌握概率论和信息论这两个核心领域的知识。在理论篇中，作者强调了理解机器学习的前提，即对概率和信息论有扎实基础的重要性。 1.1 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值