【李宏毅机器学习笔记5】Classification 概率生成模型

背景博客参考：https://blog.csdn.net/Allenlzcoder/article/details/78989160
本节课以二分类问题为例，详细讲解了模型建立的过程及其背后的数学原理。
分类问题的理想模型如下图所示，定义损失函数，给定一个输入值，模型便能输出类别。

注释1：不能用回归做分类的原因是：因为单纯用数字定义class的话，model会因为这些数字之间的远近而以为这些tranning data 会有某种关系，从而会影响最终预测结果。
注释2：名词解释，分别是感知器和支持向量机（后面会学习到）

注释3：上式是贝叶斯公式；下式是全概率公式

注释4：用sample出这79个点的最大机率的Gaussian 作为我们的Gaussian。
做法是：把计算出来的μ star 和 Σ star 代入公式中，得到Gaussian。

**注：此处共用一个Σ的好处是会减少feature（特征参数），因为特征参数多了会引起过拟合。**

上图注释1：其中μ1和μ2与之前的算法一样，都是样本的平均值；而Σ=79/140Σ1+61/140Σ2，即加权平均值作为新的Σ。
注释4：之前的boundary 是弯曲的，修正后的boundary 是线性的，所以这个model也是线性的，这个在本页最后有推导过程。

上图注释2：朴素贝叶斯分类常见的三个分布：高斯分布、伯努利分布和多项式分布。

个人认为初学者对于复杂的数学推导有一个直观印象即可= =。