本总结参考国外名著《模式识别》第四版和张学工编著得《模式识别》第三版,以及电子科技大学PPT复习总结而成。
一、线性分类几种情况
- 最大后验概率分类
根据先验概率和似然概率求后验概率,比较大小 - 最小错误概率分类
根据先验概率和似然概率乘积,比较大小
最大后验概率分类就是最小错误概率分类。
- 最小代价(损失、风险)分类
引入错误分类代价,选择最小风险的分类。
最小错误概率分类是最小代价分类的特例(当代价为0-1损失函数时)
NP准则分类
N-P准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。正态分布贝叶斯分类
在样本为正态分布时,线性分类情况:
如果各类协方差矩阵相等,贝叶斯决策的分类面是线性的。
如果相关矩阵为对角阵,则分类面与样本中心垂直.K最近邻分类
计算待分类点到所有训练样本的距离,选出距离最短的k个训练样本,统计k个样本所在的类,将待分类点分配给包含k个训练样本中数目最多的类。
参数估计
估计似然函数确定时,为贝叶斯估计:
◦ 似然函数类型已知:参数估计
◦ 似然函数类型未知:非参数化估计。
似然函期望最大化算法(EM)
二、线性分类器的设计
常见的权系数更新方法如下:
◦ 感知器算法;
◦ 最小均方误差算法;
◦ 支持向量机算法;
◦ Fisher分类法
下面将分别介绍之~
感知器算法
◦ 1.对结果分为两类,结果>0,取值+1,结果<0,取值-1.
◦ 2. 通过对某一个权系数求梯度,推广到所有得到权系数更新公式
◦ 3. 重复迭代步骤2,直到所有样本都分类正确。(权系数不变)最小均方误差算法
MSE指的是均方误差最小情况下求解方程组得到最小平方误差解,此时极小值处梯度为0
MSE准则下:方程个数大于未知数个数,属于矛盾方程组,仅有最小二乘解方法一: 伪逆法求解
◦ 1. 初始化训练样本、权向量;
◦ 2. 构造X矩阵和y向量;
◦ 3. 计算X’X和X’y;
◦ 4. 计算w向量;
方法二:梯度下降法迭代求解支持向量机算法
前提:线性可分。如果为保证解集唯一,选择最大间隔作为准则。为保证最优超平面有唯一解而不是无数等价解,我们令距离C=1。
最优化目标:决策面位于两类之间,且到两类边界的距离相等且最大。找到一个超平面,使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。
数学描述:最大化距离等价于最小化w范数,满足约束条件,属于约束最优化问题。
利用拉格朗日法与KKT转化、Wolfe对偶转化求解权系数w.
结果分析:最优超平面的权值等于训练样本以一定系数加权后的线性组合
利用任一支持向量求解w0,这也是支持向量的由来。当然通过几何意义也可以解释。
拓展:在线性不可分时,引入松弛变量进行求解Fisher分类器
线性分类器可以看作线投影过程,Fisher分类器把特征向量投影到一维空间,在一维
空间进行降维分类。即FISHER准则下的最优投影方向求解。
Fisher线性判别分类器设计:
1. 确定最优方向
2. 在这个方向确定分裂阈值