2019-9-29-熵与熵的基本性质

---

#subtitle: 检测理论概述 #副标题
header-img: img/post-web.jpg #这篇文章标题背景图片
catalog: true # 是否归档
tags: #标签
- 信息与通信
- 信息论
- 基础信息论

一. 信息与不确定性

信源包含多少信息，信道能准确无误的传递多少信息，这些都是信息论要回答的问题。为了回答这些问题，我们首先要对信息的多少有一个量度。

1.1 信息量度的推导

1.1.1 信息的自变量

• 信息的量度应该取决于那些因素，应该满足什么样的条件？
  首先，事件A 产生的信息取决于事件A 发生的概率。因此信息应该是概率的函数。
  假设事件A 以概率p 发生，那么如果事件A 发生了，它带来的信息是I§，如果事件A 没有发生，它带来的信息是I(1-p)。那么在我们不知道事件A 发生没发生之前，它蕴含的信息就应该是
  
  这就是平均信息量的来由。

1.1.2 I（p）的确定

那么I§应当如何确定？，从描述的概念来说，它应该满足这些概念：

• 1.I（p）>=0, 即非负性，信息不应该是负的。
• 2.I(pq)=I§+I(q),即独立事件相加性，两个独立事件所给出的信息应该是相加的。
  可以证明，满足这三个条件的函数I 只可能是以下形式:
  
  为了确定常量a，需要将单位1的信息量标准化：
• 3.I(1/2) = 1，标准化，假设概率为1/2 的事件给我们的信息是1
  由此，一个取{0; 1} 的二进制随机变量X，如果取0（或者1）的概率为p，那么这个随机变量包含的平均信息就是：
  

1.1.3 熵的引入

由此，当一个m 进制的随机变量Y ，取值为{1; 2; … ;m}，取k 的概率为pk 时，它包含的信息量就是: