白板推导：线性分类

线性回归的三个特性： 线性，全局性，数据未加工。打破其中一个特性可以转换成其他算法模型。

                   属性非线性(特征)    特征转换(多项式回归)

1.线性         全局非线性(输出)   线性分类(激活函数)

                   系数非线性(参数)  神经网络

2.全局性      输入x分段      决策树

3.数据未加工       降维      PCA，流形

线性分类

硬输出：;感知机，线性判别分析。

软输出：；逻辑回归，高斯判别分析GDA，朴素贝叶斯。

感知机

思想：错误驱动

模型：

loss函数：

算法：SGD

线性判别分析

思想：类内小，类间大

目标函数：,

,表示各个类别数据在w上的映射之后的均值，,表示各个类别数据在w上的映射之后的方差。

逻辑回归

sigmoid 函数：

，

MLE：

 

可以看出最大化似然估计的就是负的交叉熵：MLE(max)    min Cross Entropy

高斯判别分析(GDA)

,生成模型考虑的是联合分布。

即 

GDA假设：先验P(y)满足伯努利分布，似然满足高斯分布。

使用最大似然估计求解：，，，。

;;;

朴素贝叶斯

思想：朴素贝叶斯假设  条件独立性假设 ​​​​​​​  最简单的概率图模型

视频地址：https://www.bilibili.com/video/av33101528/