张志华-统计机器学习

第一讲：

频率派：

最小二乘法的 y-ax 最小化等同于最大似然估计，ax为样本均值的估计量，y为样本取值，y服从高斯分布，求解含y高斯分布的均值参数的时候使用的最大化似然估计，等同于在方差固定的情况下最小化误差函数。视频最后八分钟。

 

贝叶斯学派：

首先生成数据的模型服从一种未知的分布，不同于频率派把模型中的参数当作常数，而是把模型中的参数当作一个随机变量，参数服从我们给定的某一种先验分布，当真实的生成数据来了的时候，我们就可以根据后验概率最大化来判断服从已知先验分布的参数在模型中应该怎样取值。

对概率取log之后的概率值都比较小，为负，所以前面加一个－，这样数据都变成正的更好判断。

MAP :最大后验估计

积分积不出来：用蒙特卡洛方法去抽样 MCMC方法

 

第二讲：

当一组事件单调递增，即后面的事件包含前面的事件，这样当n趋于无穷，等于所有事件集合的并集。

 

当一组事件单调递减，即前面的事件包含后面的事件，这样当n趋于无穷，等于所有事件集合的交集。

 

sigma域

一个大集合：1.空集合属于它，2.B与B的补集属于他， 3.序列事件集合属于他,序列事件集合的补集也属于他