一、线性判别函数与线性分类面
线性分类面往往表示高维空间中的一个面,我们一般称作超平面。以二分类为例,超平面将空间分为两部分。
1.1与超平面相关的一些计算
- 原点到超平面的距离
- 空间中某一点x到超平面的距离
1.2 二分类问题的线性判别准则
二、不等式组求解
2.1 求解思路
不等式组的求解往往采用最优化方法
在模式识别与深度学习的研究中,最优化方法往往采用梯度下降法,大致优化流程如下:
如图
2.2 解空间的几何解释
核心思想:两向量内积 > 0
⇔
\Leftrightarrow
⇔ 等价于夹角小于90°
三、感知器算法
3.1 问题定义
3.1.1结合线性函数的问题表示
数据增广后问题被简化为
3.2 感知器算法代价函数的选择
感知器算法的代价函数由简到繁,有以下提出过程,根据具体问题可以选择具体的代价函数。
3.3 感知器算法求解
3.3.1 批量梯度下降法
批量梯度下降法在找到最优解前的每一次迭代中,权值更新时,计算每次错误分类的点的均值,然后与步长相乘,并更新权值。
3.3.2 随机梯度下降法
随机梯度下降法每次更新权值时,仅考虑一个错误分类的点,不需要求均值。
3.3.3 小批量梯度下降法
随机梯度下降法每次求所有的错误分类点的均值,当错误分类的点比较多时,均值容易影响收敛效果,收敛速度会很慢;而随机梯度下降法每个错误分类的点都会大大改变模型的参数,导致模型易受个别点的影响。所以在实际应用中,往往采用小批量梯度下降法作为最优化方法,来中和以上两种方法出现的问题。
3.3.4 感知器算法最优化例题(*)
3.4 感知器算法的收敛性证明
四、线性不可分
4.1非线性求解
4.1.1 伪逆求解法
4.1.2 迭代求解法:梯度下降法
4.1.3 最小均方误差(LMS)
4.1.4LMSE与感知器求解所得分类面对比
感知器算法会将线性可分的数据完全分类正确,而LMS方法只是最小化均方误差,不一定保证所有的样本点都分类正确。两者各有优劣,在实际应用中,应根据具体问题具体分析,再考虑选用哪种方法求解。
4.2 非线性判别函数总结
注:高次多项式也可以看作是映射到高维空间
- 虽然非线性可分的数据通过映射到高维的方式可以实现线性可分,但是可能会带来维数灾难:
- 非线性映射虽然是一个解决线性不可分数据的好办法,但是寻找一个非线性映射是的数据线性可分是很困难的。