机器学习笔记（五）--贝叶斯统计

简介

我之前已经讨论过如果来通过MAP来估计$\theta$，这里接下来将会有全贝叶斯后验的计算。
贝叶斯统计的核心就是通过后验统计来来总结关于我们不知道的变量的一切知识。在第6章会有通过经典统计学来做的内容。

后验分布的总结

后验分布$p(\theta|D)$告诉总结了我们对于未知数$\theta$所知道的内容。这章我们会讨论如何从概率分布中进行推测一些简单的未知数。这种总结性的统计相对于全联合统计而言要更容易理解和识别。

MAP估计

我们已经可以很容易的通过计算后验的平均，中位数，众数来估计一个未知数。总体来说，对于一个连续变量来说，平均和中位数是对连续数据的很好的估计，对于一个离散的数来说，计算后验边缘分布是一个很好的选择。为什么MAP那么流行，是因为它可以把计算规约到一个最优化问题。并且MAP也可以看做一个非贝叶斯的方法，只要把先验看做一个正则就可以了。
尽管MAP讨论了那么多优点，但是MAP也有很多缺点，接下来我们会讨论MAP的缺点。这也就提供了我们讨论更全面的贝叶斯方法来进行估。

对于估计没有置信度区间

MAP最致命的一个缺点就是对于估计的参数没有置信度估计。只是提供了一个对于未知数的估计。当然，我们可以在接下来的内容里去完善估计的置信度。

会导致过拟合

在机器学习的领域，我们很多时候更多的会关注预测的准确性而不是去解释我们模型的参数的含义，这就会导致过于相信模型的结果。也就是会导致过拟合。

众数是一个非典型性的指标

有的时候使用后验分布的众数是非常弱的选择，因为它不像平均数和中位数，对于分布来说是非典型的。

置信区间

置信区间，我们一般会使用中心置信区间，也就是$P(l\leq \theta \leq u)=1-a$.其中$l=F^{-1}(a/2)$,$u=F^{-1}(1-a/2)$。如果后验的分布概率我们知道。那么我们可以根据分布公式计算，比如高斯分布和beta分布。但是如果我们不知道后验分布的情况下，我们使用蒙特卡洛近似来进行求解，也就是说，我们可以对样本进行抽样，然后分别对$\theta$进行估计，然后对结果进行排序，然后根据排序结果对置信区间进行估计，然后当抽样数据的样本数量趋近无限大时，这个估计收敛到真实值。

贝叶斯模型选择

如果我们有很多的模型，有的时候不知道选哪个的时候，我们一般会使用CV，通过计算生成错误来选择模型，但是一种更为有效的方式是通过计算后验概率来进行选择。也就是我们会计算$p(m|D)$并根据这个值来选择模型。这里列出计算$p(m|D)$的方法。
$p(m|D)=\int \frac{p(D|m)p(m)}{\sum p(D,m)}$其中$p(D|m)$可以用他的显著量来计算，也可以叫做边缘似然或者积分似然$p(D|m)=\int p(D|\theta)p(\theta|m)d\theta$来进行估计。