机器学习中条件熵的理解

记一下自己的机器学习中一些难以理解的概念。

首先看条件熵的公式

定义：X给定条件下Y的条件概率分布的熵对X的数学期望
几点理解：

1. X和Y并不一定是独立分布
2. 给定条件下：这里的给定条件下是指，如果X确定的话，YY的条件概率分布的熵对X的数学期望，并不指X确定为某一特定的值
3. 数学期望：条件熵是一个期望，也就是X的所有可能值都要取到

下面举一个栗子：比如天气冷暖和我穿衣服多少是有联系的。假设X表示我穿衣服多少（假设只有2种情况，穿多或者穿少），Y表示天气冷暖，那么H（Y|X）表示的是在确定路人穿衣情况下天气冷暖的情况的不确定性的数学期望。看到路上行人穿衣服多少，你就能大概的判断天气状态，比你不知道路人穿衣情况下去判断天气的不确定性要少，这一点是肯定的。并不用知道我到底是穿的多还是穿的少，因为不管我穿得多还是穿的少，你对天气的判断是一定会更加准确。也就是X的值并不用确定，因为每种值都会被取到。