期望&方差和贝叶斯概率

期望（expectation）就是平均权重，用E(f)表示，连续型的期望如下：

给出有限的 N 个点期望可以如下表示：

当 N趋向于无穷大的时候上式会非常准确，上式在抽样方法里面会广泛使用。
多个变量函数的期望：

E是 x 的均值期望，它是 y 的函数。条件期望（conditional expectation）关于条件概率分布

方差（variance）：

方差记录了关于均值的变化程度，可以变化如下：

协方差（covariance）定义：

协方差是关于 x 与 y的共同变化程度，如果 x 与 y 相互独立，则协方差消失。向量形式下的协方差如下：

贝叶斯概率
      根据随机可重复事件的发生次数来解释概率叫做古典（classical）或者频率解释（frequent）。
      例子：月亮是否曾经是围着太阳转的，北极冰川是否会在世纪末消失，这些不是可重复的多次事件，可以通过北极冰融化的速度推测前一个事件。但是冰融化的速度是变化的，当获得新的证据时，就要在不确定性量化的基础上修正原来的不确定数值，这些可以通过贝叶斯方法来解决。概率理论的量化不确定性是可以信服的。
      在前面的例子中贝叶斯方法通过观察值将一个先验概率转化成了后验概率（哪个箱子的概率） ，应用到曲线拟合的例子中来就是确立一个关于参数的先验概率 p(w)，然后获得观察数据点D ={t1,······,tn}可以通过条件概率p(D|w)表示，

所以就可以通过后验概率来估计 w 的不确定性。其中p(D|w)是通过D 来估计出来的是 w 的一个函数，这里叫做似然函数（likelihood function） 。它表示了在不同参数下数据集 D 的可能性大小，似然函数不是概率分布函数积分不为1。
所以上式可以看为：

式子都是关于 w 的函数，并且分母是正规化常数，确保了后验概率是概率密度且可以可以积分为 1，如果对 2 边进行 w积分，则分母可以表示为：

在贝叶斯与传统概率理论里面对于似然函数的使用是不同的， 传统似然函数通过预先估计把 w 固定化，误差同过数据集集合的分布估计，但是在贝叶斯里面数据集已通过观察值给出，变成了一个关于 w 的概率分布函数。广泛使用的估计函数就是最大似然函数（maximum likelihood）这里w 要设定为能够最大化似然函数的值，这等价于选择一个 w使数据集发生的可能性最大，似然函数的对数形式常被应用为错误函数 （error function） ， 最大化似然函数变成最小化错误函数。
贝叶斯的优势就是包含了先验概率。贝叶斯方法的缺点就是在一般应用中，先验信息往往是为了数学计算方便主观选取的，因而有可能得出的信息是不对的，如果先验信息没有选取好没，那麽贝叶斯方法会给出很糟糕的结果。概率估计方法提供了交叉验证（cross-validation）方法防止这种情况发生。

 高斯分布
高斯分布 or 正太分布 ：

u为均值（mean），o2方差（variance） ，B=1/o2是精度（precision） ，o标准差（standard deviation） 。其中分布中的 2 个重要参数分别是分布的均值与方差。

向量形式下的高斯分布：

μ是D 维向量， Σ是 D*D 矩阵。数据点相互独立且取自于同一分布叫做独立同分布（ independent and identically distributed） ，给定独立同分布样本集 X，联合概率密度可以表达为：

这是关于参数的最大似然函数图：

其中，看起来好像是给出数据求关于参数的最大似然，而不是给定参数求数据的最大似然。对似然函数进行 log，好处是乘法可以转化为加法避免了在数据处理时的精度损失问题。
求该式子关于u的最大化，得到解为：

这是简单的观察值的均值，关于o2最大化得到：

o2只是一个相对于均值的简单方差。最大似然函数并没有适当应用方差，这个叫做偏离（bias） ，这是与过度拟合问题相关的。

可以看到均值是正确的，但是方差减小了，实际的计算方式应该是：

当 N 越大，最大似然计算的方差越接近真实的方差，在复杂模型中，方差偏离对于其他很多参数有很大影响，这是造成复杂模型下过度拟合的根本原因。