李宏毅机器学习-分类

高斯分布

简单点可以把高斯分布当作一个 function，输入就是一个向量 x ，输出就是选中 x 的概率（实际上高斯分布不等于概率，只是和概率成正比，这里简单说成概率）。 function由期望 μ 和协方差矩阵 ∑ 决定。上图的例子是说同样的 ∑，不同的 μ ，概率分布的最高点的位置是不同的。下图的例子是同样的 μ，不同的 ∑，概率分布的最高点是一样的，但是离散度是不一样的。

最大似然估计

计算方式

完成分类

修改模型

通常来说，不会给每个高斯分布都计算出一套不同的最大似然估计，协方差矩阵是和输入feature大小的平方成正比，所以当feature很大的时候，协方差矩阵是可以增长很快的。此时考虑到model参数过多，容易Overfitting，为了有效减少参数，给描述这两个类别的高斯分布相同的协方差矩阵

共用之后准确度上升，为啥是直线了？？？？

建模三步骤

对于二元分类来说，此时用通常不会用高斯分布，可以假设是符合 Bernoulli distribution（伯努利分布）。

假设所有的feature都是相互独立产生的，这种分类叫做 Naive Bayes Classifier（朴素贝叶斯分类器）