【信息论】离散信息源

最新推荐文章于 2023-02-19 22:41:47 发布

Devil丶LY

最新推荐文章于 2023-02-19 22:41:47 发布

阅读量1.8k

点赞数 1

分类专栏：信息论学习笔记文章标签：熵离散信息源自信息量信息熵

本文链接：https://blog.csdn.net/qq_39736559/article/details/84988278

版权

信息论学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、基本概念

1、离散信息源定义

一类信源输出的消息常常以一个个符号的形式，例如文字、字母等，这些符号的取值是有限个的或可数的，这样的信源称为离散信源。

2、离散信息源

$\begin{Bmatrix} a_{1},a_{2},\cdots,a_{n} \end{Bmatrix}$

3、单符号离散信源数学模型

$\begin{Bmatrix} x\\ p(x) \end{Bmatrix}= \begin{Bmatrix} a_{1} & a_{2} & \cdots & a_{n}\\ p(a_{1}) & p(a_{2}) & \cdots & p(a_{n}) \end{Bmatrix}$

4、自信息量

若随机事件发生 $a_{i}$ 的概率为 $p(a_{i})$ ，那么它的自信息量 $I(a_{i})$ 为
$I(a_{i})=-\log_{2}p(a_{i})$

例子
某地二月份天气的概率分布统计如下：
$\begin{Bmatrix} X\\ P(X) \end{Bmatrix} =\begin{Bmatrix} a_{1}(晴), &a_{2}(阴), &a_{3}(雨), &a_{4}(雪)\\ 1/2, &1/4, &1/8, &1/8 \end{Bmatrix}$ 这四种气候的自信息量分别为 $I(a_{1})=1bit，I(a_{2})=2bit，I(a_{3})=3bit，I(a_{4})=3bit$

5、联合自信息量

两个随机事件的离散信息源，其信源模型为
$\begin{Bmatrix} XY\\ P(XY) \end{Bmatrix} =\begin{Bmatrix} a_{1}b_{1} & \cdots & a_{1}b_{m} & a_{2}b_{1} & \cdots & a_{2}b_{m} & \cdots & a_{n}b_{1} & \cdots & a_{n}b_{m}\\ p(a_{1}b_{1}) & \cdots & p(a_{1}b_{m}) & p(a_{2}b_{1}) & \cdots & p(a_{2}b_{m}) & \cdots & p(a_{n}b_{1}) & \cdots & p(a_{n}b_{m}) \end{Bmatrix}$ 联合自信息量
$I(a_{i}b_{j})=-\log_{2}p(a_{i}b_{j})$

6、条件自信息量

设 $b_{j}$ 条件下发生 $a_{i}$ 的条件概率为 $p(a_{i}|b_{j})$ ，那么它的条件自信息量定义为 $I(a_{i}|b_{j})$
$I(a_{i}|b_{j})=-\log_{2}p(a_{i}|b_{j})$

7、相关公式

$I(a_{i}b_{j})=-\log_{2}p(a_{i})p(b_{j}|a_{i})=I(a_{i})+I(b_{j}|a_{i}) \\ I(a_{i}b_{j})=-\log_{2}p(b_{j})p(a_{i}|b_{j})=I(b_{j})+I(a_{i}|b_{j})$

二、信源熵

1、信源熵的定义

(1) 信源熵

已知单符号离散无记忆信源的数学模型
$\begin{Bmatrix} x\\ p(x) \end{Bmatrix}= \begin{Bmatrix} a_{1} & a_{2} & \cdots & a_{n}\\ p(a_{1}) & p(a_{2}) & \cdots & p(a_{n}) \end{Bmatrix}$ 其中 $\leq p(a_{i}) \leq 1 (i=1,2,\cdots,n)$ ，且 $\sum_{i=1}^{n}p(a_{i})=1。$
我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，简称熵，记为 $H (X)$
$E[I(a_{i})]=E[\log_{2}{1 \over p(a_{i})}]=-\sum_{i=1}^n{ p(a_{i})\log_{2} p(a_{i})}$

例子
再讨论前面的例题，即某地二月份天气的概率分布统计如下：
$\begin{Bmatrix} X\\ P(X) \end{Bmatrix} =\begin{Bmatrix} a_{1}(晴), &a_{2}(阴), &a_{3}(雨), &a_{4}(雪)\\ 1/2, &1/4, &1/8, &1/8 \end{Bmatrix}$ 该信源的熵为 $-{1\over 2} \log_{2}{1 \over 2}-{1\over 4} \log_{2}{1 \over 4}-({1\over8} \log_{2}{1 \over 8})\times2=1.75(bit/sign)$

(2) 条件熵

条件熵是在联合符号集合XY上的条件自信息量的数学期望，在已知随机变量Y的条件下，随机变量X的条件熵 $H (X ∣ Y)$ 定义为
$H(X|Y)=E[I(b_{j}|a_{i})]=-\sum_{j=1}^{m}\sum_{i=1}^{n}p(a_{i}b_{j})I(a_{i}b_{j})=\sum_{j=1}^{m}\sum_{i=1}^{n}p(a_{i}b_{j})\log_{2}p(a_{i}|b_{j})$

Devil丶LY

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【信息论】离散信息源

1、离散信息源定义一类信源输出的消息常常以一个个符号的形式，例如文字、字母等，这些符号的取值是有限个的或可数的，这样的信源称为离散信源。2、离散信息源{a1,a2,⋯&amp;amp;amp;amp;ThinSpace;,an}\begin{Bmatrix}a_{1},a_{2},\cdots,a_{n}\end{Bmatrix}{a1,a2,⋯,an}3、单符号离散信源数学模型[xp(x)]=[...
复制链接

扫一扫

专栏目录