【Linear Classification】线性分类数学公式解析

目录

线性分类框架

感知机

线性判别分析LDA - Fisher

逻辑回归 

高斯判别分析GDA

朴素贝叶斯

---

线性分类框架

根据输出值，输出为{0,1}离散值则为硬分类，包括感知机和线性判别分析；输出为[0,1]之间的概率值则为软分类，包括高斯判别分析（比较后验概率大小）和逻辑回归（likelihood)。从线性回归到线性分类，通过激活函数将线性回归的输出值降维至{0,1}或者[0,1]之间。

感知机

随机梯度下降算法SGD更新参数W，λ是设定的learning rate。多层感知机便是深度学习的基础。

​​​​​​​

线性判别分析LDA - Fisher

核心原理就是将数据投影到分类平面W上，根据类内小，类间达的原理求出最佳投影平面后进行分类输出；

图中举例类1和类2，类间大表示为 类1和类2各自投影的均值Z 差的平方即(Z1-Z2)^2 ；类内小表示为类1和类2投影的方差S的和即S1+S2。参数W就是使得max方程J(W)=类间/类内。

在对J(W)求最大时， ∂J(W)/ ∂W  = 0，其中因为WT·Sw·W和WT·Sb·W都是1xP * PxP * Px1 = 一维实数，(Xc1-Xc2)T·W同样是1xP * Px1的一维实数，所以W正比于Sw-1(Xc1-Xc2)。

逻辑回归 

【判别模型】逻辑回归引入了sigmoid函数，WTX -> +∞，sigmoid ->1；反之-> 0 。MLE最大后验概率 = 最小交叉熵。

高斯判别分析GDA

【生成模型】不同于逻辑回归求最大后验，GDA在于比较P(y=0 | x)和P(y=1 | x)的大小，根据贝叶斯P(x)与y无关所以P(y | x)的大小就等于P(x,y)联合概率的大小，或者P(y)·P(x | y)；模型中先验P(y)属于伯努利分布，P(x｜y)属于均值不同，方差相同的N个高斯分布 。

 N1是与y=1的样本点个数，N2是y=0的样本点个数。

求方差时注意，(xi-μ)T·ε-1·(xi-μ) 为1xp ·pxp ·px1 实数就等于它举证的迹tr，tr内相乘举证可以互换位置，换位后求和(xi-μ)T·(xi-μ)就看作是方差S。注：矩阵tr的求导公式。

朴素贝叶斯

【生成模型】同GDA雷同，简单的概率图模型——>条件独立性假设为了简便计算。

有问题可+V：llllChrist，注明CSDN。