机器学习：支持(支撑)向量积(含目标函数推导)

1.要解决(思考)的问题

而真正影响决策边界(即道路两侧)两者间的距离事实上是由离边界最近的点(暂时启名为"真正有作用的点")所决定的

优化的目标:找出一条直线(即道路的中间线)，他离"真正有作业的点"是最优的(为了得到最宽的道路)

2.距离的计算以及数据的定义

2.1距离的计算

2.2对数据的定义

在提及核函数之前可以直接理解成y=x，即把它看成x

3.目标函数推导 

 4.使用拉格朗日乘子法化解为最终目标函数

 

 由于对偶性质：

先求第一步：

现在的目标变成求 ，对得出的偏导代入原始方程

再求第二步 

得出最终目标函数：

 对约束条件的解释：

5.实例:SVM求解决策方程 

用到之前推的目标函数 

具体例子：

 其中正例的y为1，负例的y为-1

 而我们想求的是对a的极小值

 最小值在(0.25,0,0.25)处取得

该方程即为决策方程

a值不为0的点为支持向量

非边界上的点a值必然为0

从该例子理解什么是支持(支撑)向量积

 

 6.软间隔优化

7.核函数的作用 

这里举一个只是简单的核函数作低维到高维的映射的例子(3维->9维)

能满足上述性质"做核函数变换的高维向量的内积=低维向量内积的平方"没有几个

常用的核函数(基本上用这个函数)