本文详细介绍了信息论中的基本概念，包括信源、信号、消息和信息的关系，以及单符号和多符号离散信源的熵、条件熵、联合熵等。讨论了信源的不确定性和冗余度，并延伸到连续信源的微分熵。内容涵盖了信源编码和数据压缩的基础理论，强调了熵在衡量信源不确定性中的作用。
文章目录
信源
信号，消息，信息
信号（像素点）是一个个符号，电信号，光信号等。
消息（图像）由信号组成，是符号串。
信息来源于消息，是一种不确定性的消除=先验不确定性（通常由统计确定）I(X)-后验不确定性（通常由观察确定）I(X|Y)=互信息。
单符号离散信源
自信量（信息量，符号的先验不确定性）
自信量是信源发出消息ai前，接收端对信源发ai的不确定性，它表示ai含有的全部信息量。无损信道能够使得不确定性完全消除。
（就是说如果消息ai的发生概率小，那么接收端就感觉接收到它的概率就小，那么接收端就对消息ai抱有很大的不确定性。）
通常自信量为I(ai)=-log2 p(ai) 。（单位：比特/符号）
信息熵（信源的先验平均不确定性）
信息熵对信源的所有符号的自信量进行统计平均，从而得到的平均不确定性。（单位：比特/符号）。度量信源的先验平均不确定性。
在这里插入图片描述
等概分布的熵最大。
多符号离散信源
平稳：随机变量Xi取值有限或可数；概率分布与时间无关。
无记忆：信源在不同时刻发出的符号之间相互独立
有记忆：信源在不同时刻发出的符号之间相互依赖
离散平稳无记忆信源的熵 H ( X N ) = N H ( X ) H(X^N)=NH(X) H(XN)=NH(X); H ( X 1 X 2 ) = H ( X 1 ) + H ( X 2 ) H(X_1X_2)=H(X_1)+H(X_2) H(X1X2)=H(X1)+H(X2)
离散平稳有记忆信源的熵 H ( X ) = H ( X 1 X 2 ) = H ( X 1 ) + H ( X 2 / X 1 ) H(X)=H(X_1X_2)=H(X_1)+H(X_2/X_1) H(X)=H(X1X2)=H(X1)+H(X2/X1)
有记忆性使得信源每发一个符号提供的平均信息量随着记忆长度的增加而减小。
条件熵（疑义度，噪声熵）
H ( X 2 / X 1 ) H(X_2/X_1) H(X2/X1)，在信道中叫疑义度，就是当信宿收到随机变量 X 1 X_1 X1后，对信源发随机变量 X 2 X_2 X2仍然存在的不确定性。
联合熵（共熵）
H ( X 2 X 1 ) H(X_2X_1) H(X2X1)，在信道中表示信道两端同时出现X1和X2的后验平均不确定性，即传入X1,得到X2。
联合XY信源提供的平均不确定性。
平均符号熵
H ( X ) = 1 N H ( X 1 X 2 . . . X N ) H(X)=\frac{1}{N}H(X_1X_2...X_N) H(X)=N1H(X1X2...XN)， X 1 , . . . , X N X_1,...,X_N X1,...,XN这N个符号看做一组，每组代表信源 X = X 1 , . . . X N X=X_1,...X_N X=X1,...XN的一个消息。
极限熵（多符号平稳信源的平均不确定性）
因为信源发出的信号在时间域上的无限性和记忆性，所以用平均符号熵的极限值代表信源发每个符号提供的平均信息量比较合适。
马尔科夫信源
m阶马尔科夫信源，就是我现在发的这个消息和我之前发的m个消息有关联。
（熵的性质）
信源的剩余度（冗余度）
当信源符号间无依赖且等概分布时，熵最大。
-
相对熵率（信息含量效率）：离散平稳有记忆信源的极限熵与把此信源变成离散无记忆等概信源达到的最大熵之比 η = 极限熵 等概时的最大熵 = H ∞ H 0 \Large \eta=\frac{\text { 极限熵 }}{\text { 等概时的最大熵 }}=\frac{\mathrm{H}_{\infty}}{H_{0}} η= 等概时的最大熵 极限熵 =H0H∞
-
剩余度就是 ξ = 1 − η \xi=1-\eta ξ=1−η
符号序列中符号之间的依赖关系越强，依赖越多（N趋近于无穷），那么此消息中的冗余度就越大，就又越多的信息是不必要的。
剩余度描述了信源可压缩的程度，它是信源编码、数据压缩的前提。
剩余度可以理解为不必要的符号，也可以说是冗余度。比如：
中华人民共和国——中国
”中华人民共和国“这个意思和“中国”一样，所以就具有一定的冗余度，它的剩余度就比较大。
单维连续信源
信源输出的消息是时间和取值都连续的随机函数，连续信源可以用一个随机过程{x(t)}表示，其输出的消息是随机过程{x(t)}中的一个样本函数。我们可以用概率密度的形式来进行描述：
[
X
□
P
]
:
{
X
:
[
a
,
b
]
(
或
R
)
P
(
X
)
p
(
x
)
[X \square P]:\left\{\begin{array}{ll}X: & {[\mathrm{a}, \mathrm{b}](\text { 或 } \mathrm{R})} \\ P(X) & \mathrm{p}(\mathrm{x})\end{array}\right.
[X□P]:{X:P(X)[a,b]( 或 R)p(x)
由概率密度函数
p
(
x
)
p(x)
p(x) 就可确定单维连续信源 X的概率分布:
F
(
x
1
)
=
P
{
X
≤
x
1
}
=
∫
a
x
1
p
(
x
)
d
x
\mathrm{F}\left(x_{1}\right)=P\left\{X \leq x_{1}\right\}=\int_{a}^{x_{1}} p(x) d x
F(x1)=P{X≤x1}=∫ax1p(x)dx
且
∫
a
b
p
(
x
)
d
x
=
1
\int_{a}^{b} p(x) d x=1
∫abp(x)dx=1
连续熵（无穷大）
因为连续信源是连续的，分析它的时候，我们对它的分割是有无穷多种的，所以无穷大是合理的。
微分熵（相对熵）
h ( X ) = − ∫ a b p ( x ) log p ( x ) d x h(X)=-\int_{a}^{b} p(x) \log p(x) d x h(X)=−∫abp(x)logp(x)dx，相对熵不具有信息的内涵，它在单维连续信道中的平均交互信息量中有作用。单维连续信源的信息熵是无限大的正数，相对熵是其中确定值的一部分，可以计算。
我们暂时用它比较两个连续信源的不确定性。
性质：不具有非负性
常见约束下信源的最大相对熵
峰值功率受限最大相对熵定理：对于峰值功率受限的单维连续信源，当输出消息的概率密度是均匀分布时，相对熵达到最大值。
比如：输出信号的瞬间电压受限
均值受限信源的最大相对熵定理：对于输出消息非负且均值受限的单维连续信源，当输出消息的概率密度函数为单边指数分布时，相对熵达到最大值。
平均功率受限信源的最大相对熵定理：若单维连续信源输出信号的平均功率限定为P，则其输出消息的概率密度函数为高斯分布时，相对熵达到最大值
扫一扫
2513
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
