李哈哈的模式识别笔记【part 3：感知器算法】

李哈哈的模式识别笔记【part 3：感知器算法】

线性分类器训练的一般思路

人类的思维具有整体性和逻辑性，机器的思维擅长重复性
解区域：
线性判别函数解不唯一，而是位于一个区域，称为解区域。
=>权向量w待定，偏移量w0待定。
一般思路：

• 首先设定一个标量的准则函数，使其值能够代表解的优劣程度，标准函数值越小，说明解越符合要求。
• 通过寻找标准函数的最小值，就能找到最优的一个解，使准则函数取得极小值的增光权向量，就是最优解。

这里有必要重新认识一下线性判别函数的通式，可参照下图：

感知器算法的原理

感知器模型：
是一种最简单的神经元模型，具有多个输入和一个输出，各输入加权求和，与阈值相比较，判断是否激活输出1。
由此可见，感知器模型是一种线性分类器，可以做出二分类决策

准则函数：错分样本的判别函数值之和（Important）
寻优方式：梯度下降法，逐次寻优
不同的具体寻优