机器学习多次修补后笔记--支持向量机

专业词汇

Large Margin
超平面 （hyperplane）
鲁棒性（Robustness）
支持向量机（Support Vector Machine）
"间隔" (margin)
最大|间隔 (maximum margin)
个凸二次规划(convex quadratic programming) 问题
"对偶问题" (dual problem)
KKT (Karush-Kuhn-Tucker)
SMO (Sequential Minimal Optimization) 
"核函数" (kernel function)
"核技巧" (kernel trick).
"支持向量展式"(support vector expansion)
"再生核希尔伯特空 间" (Reproducing Kernel Hilbert Space，简称 RKHS)
"软间隔" (soft margin)
"硬间隔" (hard margin

内容概括

经典二分类问题，决策边界泛化能力大（鲁棒性）

物理含义

选出距离雷区最远的分类超平面（雷区：分类边界上的点）
该超平面对训练样本局部扰动的容忍性最好，鲁棒性好

数学原理推导

下面推到过程中可能会有在x的位置写成x的函数的情况，全部当x就好，具体用途见后面的板块

由法向量w和位置b决定超平面方程：

点x到超平面的距离

支持向量机间隔

当面对确定的样本集时，SVM间隔只与超平面的法向量有关

对于确定的样本集，法向量w的转置确定以后---->雷区边界确定------>超平面确定（两雷区中间线）
雷区边界方程： wx+b=±c （因为超平面定义在两雷区边界中点）
该超平面的方程：wx+b=0 （w有转置符号）
c是一个确定的数值，我们为了推导方便，令c=1

支持向量

雷区边界上的点为–支持向量–，支持向量最少有两个
是否为支持向量：在确定w下，在用拉格朗日乘子法的过程中拉格朗日乘子是否为0可以来反应某样本点是否为支持向量

目标函数

点超平面的距离L为： -------------以yi来代替原有的绝对值。

min用来找支持向量
max是代表找最大SVM间