1.要解决(思考)的问题
而真正影响决策边界(即道路两侧)两者间的距离事实上是由离边界最近的点(暂时启名为"真正有作用的点")所决定的
优化的目标:找出一条直线(即道路的中间线),他离"真正有作业的点"是最优的(为了得到最宽的道路)
2.距离的计算以及数据的定义
2.1距离的计算
2.2对数据的定义
在提及核函数之前可以直接理解成y=x,即把它看成x
3.目标函数推导
4.使用拉格朗日乘子法化解为最终目标函数
由于对偶性质:
先求第一步:
现在的目标变成求 ,对得出的偏导代入原始方程
再求第二步
得出最终目标函数:
对约束条件的解释:
5.实例:SVM求解决策方程
用到之前推的目标函数
具体例子:
其中正例的y为1,负例的y为-1
而我们想求的是对a的极小值
最小值在(0.25,0,0.25)处取得
该方程即为决策方程
a值不为0的点为支持向量
非边界上的点a值必然为0
从该例子理解什么是支持(支撑)向量积
6.软间隔优化
7.核函数的作用
这里举一个只是简单的核函数作低维到高维的映射的例子(3维->9维)
能满足上述性质"做核函数变换的高维向量的内积=低维向量内积的平方"没有几个
常用的核函数(基本上用这个函数)