博客介绍了连续信源相关的熵知识。连续信源的连续熵为无穷大，因其分割有无穷多种。微分熵即相对熵，虽不具信息内涵，但可用于比较连续信源不确定性。还阐述了常见约束下信源的最大相对熵定理，如峰值、均值、平均功率受限情况。
信源输出的消息是时间和取值都连续的随机函数，连续信源可以用一个随机过程{x(t)}表示，其输出的消息是随机过程{x(t)}中的一个样本函数。我们可以用概率密度的形式来进行描述：
[
X
□
P
]
:
{
X
:
[
a
,
b
]
(
或
R
)
P
(
X
)
p
(
x
)
[X \square P]:\left\{\begin{array}{ll}X: & {[\mathrm{a}, \mathrm{b}](\text { 或 } \mathrm{R})} \\ P(X) & \mathrm{p}(\mathrm{x})\end{array}\right.
[X□P]:{X:P(X)[a,b]( 或 R)p(x)
由概率密度函数
p
(
x
)
p(x)
p(x) 就可确定单维连续信源 X的概率分布:
F
(
x
1
)
=
P
{
X
≤
x
1
}
=
∫
a
x
1
p
(
x
)
d
x
\mathrm{F}\left(x_{1}\right)=P\left\{X \leq x_{1}\right\}=\int_{a}^{x_{1}} p(x) d x
F(x1)=P{X≤x1}=∫ax1p(x)dx
且
∫
a
b
p
(
x
)
d
x
=
1
\int_{a}^{b} p(x) d x=1
∫abp(x)dx=1
连续熵（无穷大）
因为连续信源是连续的，分析它的时候，我们对它的分割是有无穷多种的，所以无穷大是合理的。
微分熵（相对熵）
h ( X ) = − ∫ a b p ( x ) log p ( x ) d x h(X)=-\int_{a}^{b} p(x) \log p(x) d x h(X)=−∫abp(x)logp(x)dx，相对熵不具有信息的内涵，它在单维连续信道中的平均交互信息量中有作用。单维连续信源的信息熵是无限大的正数，相对熵是其中确定值的一部分，可以计算。
我们暂时用它比较两个连续信源的不确定性。
性质：不具有非负性
常见约束下信源的最大相对熵
峰值功率受限最大相对熵定理：对于峰值功率受限的单维连续信源，当输出消息的概率密度是均匀分布时，相对熵达到最大值。
比如：输出信号的瞬间电压受限
均值受限信源的最大相对熵定理：对于输出消息非负且均值受限的单维连续信源，当输出消息的概率密度函数为单边指数分布时，相对熵达到最大值。
平均功率受限信源的最大相对熵定理：若单维连续信源输出信号的平均功率限定为P，则其输出消息的概率密度函数为高斯分布时，相对熵达到最大值
扫一扫
2658
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
