Mitchell机器学习-决策树学习中信息论的相关知识

1. 信道模型

• 
  
• 转移概率矩阵

2. 信息熵

• 信源

• 自信息

• • 表示出现的不确定性。
• 信息熵

• • 自信息的数学期望，即出现的平均不确定性，又叫先验熵。
  1. • ：对某个有（），信源只发出符号，不存在不确定性（令）
     • 
       

• • • 相互接近，越大，反之则越小。
      

3. 信息增益

• 后验熵

信宿收到后，信源发送的概率

这时信源发送的不确定性为：

后验熵为：

表示在收到时，信源发出的各种信号的平均不确定性。

• 条件熵

表示在收到的条件下，信源发出的信号集的平均不确定性，又称信道疑义度。

若对每一个，可以确定输入端的一个符号，即，这时对其他任一个有，则，此时，不确定性完全消除。

• 信息增益

表示在收到后，关于的信息量的增加了、减少了的不确定性。

4. 总结

• 自信息

• 互信息

• 先验熵（平均自信息）
• 后验熵（平均互信息）
• 信息增益