机器学习 — SVM（支持向量机），PLA（感知机），LDA（线性判别分析）

       硬分类是直接根据决策边界进行判断的，直接区分+1和-1两种类别，如下：

注意：w和x作为向量，索引取值如果是从0、1、2、……、n，那么i=0的时候，对应的w0x0是阈值，如果没有阈值，那么该超平面就是始终过原点的。

1. 线性SVM

• 思想：几何间距

• 目标：找到几何间距margin，处理线性可分问题，详情见SVM介绍。

• 对应的非线性问题处理方法是：非线性VM

2、PLA

• 思想：错误驱动，根据输出和预设值之间的误差，进行调参

• 目标：找到超平面wx+b，处理线性可分问题，具体过程如下：

• 对应的非线性问题处理方法是：