机器学习 之 最大后验估计(MAP)，交叉熵

最大后验概率是在最大似然后面乘上一个先验概率，求的仍是一个具体值，但最大似然与最大后验有很大不同。

在最大似然估计中，用的是$p(t|w,\text{X},{\delta }^2)$乘在一起求最大值(极大似然的意义)，然后导等于0求出$w$很好理解，求出来的$w$就是最应该的值，

在最大后验概率估计中，求的是$P(w|t,\text{X},{\delta }^2)$的最大值，但是仍然通过求导等于0得出参数解，究其原因，应该就是在于高斯函数的求导等于0的地方，同时也是最大的，极值即最值。先验概率分布起到一个提升起跑线的作用，毕竟$P(X)$是自己定的，在最大似然估计中，它被设定成了1(表示完全没有任何信息)，但是并没有分母，实际上，最大后验概率就是没有分母的，因此不能求最大值，只能求导来。

最大后验估计一般是这样的：
$$\begin{gathered} \theta =argma{x}_{\theta }P(\theta |D)\sim argma{x}_{\theta }P(D|\theta )P(\theta ) \\ =argma{x}_{\theta }logP(D|\theta )+logP(\theta ) \end{gathered}$$

然后求导等于0求出$w$。鉴于最大似然也是先取$\log$再求导，最大后验的本质是多了一个$logP(\theta )$项而已。

每日小常识：

信息量的定义为：
$$I(x)=-log(p(x))$$

例如当事件必定发生时，其信息量为0。而熵值越大，表明这个系统的不确定性就越大：
$$H(x)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$

就是概率与信息量的乘积之和。
相对熵也成为KL散度，用来比较两条曲线是否一致是最好的(之前是用来检验简繁体字)(了解即可，用处不大)：
$$D_{KL}(p||q)=\sum _{i}p(x_i)log(\frac{p(x_i)}{q_{(}{x}_i)})$$

交叉熵，设$p(x),q(x)$分别是随机变量$X$的两个概率分布，其中$p(x)$是目标分布，$p$和$q$的交叉熵可以看作使用分布$q(x)$表示目标分布$p(x)$的困难程度：
$$H(p,q)=-\sum _{i}p(x_i)logq(x_i)$$

明白了，就是普通熵的一个变种。实际上：
$$H(p,q)=D_{KL}(p,q)+H(p)$$

通常$p(x)$是训练数据，是固定的，即$H(p)$是一个常量，这样算交叉熵也就等价于最小化这两个分布的相对熵$D_{KL}(p||q)$，$q(x)$为训练得到的分布。注意下面的最大似然平均值：
$$\frac{1}{m}\sum _i^{m}log(x_i,\theta )=E(log(x,\theta ))$$

$$\begin{gathered} {\theta }_{ML}={argmax}_{\theta }{E}_{x-P}(log(x,\theta )) \\ ={argmax}_{\theta }{E}_{x-P}(-log(x,\theta )) \end{gathered}$$

对右边取负号的意义是将最大化变成最小化运算。