机器学习入门 ————》SVM

最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年发表。深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法。

 

姑且先看做一维的直线和点吧。先别复杂。

找一个边界，黑实线，使到两条黑虚线的距离越大越好。两条黑虚线都经过离黑实线最近的点，也可以变成点到黑实线的距离，越大越好。

高中点到直线距离公式：

直线Ax+By+C=0 坐标（Xo，Yo）那么这点到这直线的距离就为：

做题了，下图中 黑色实线方程wx+b=0，离它最近的方块点到它的距离等于，

 现在任务找一个w,b，使到点的距离最大

因为

，将距离方程乘一个y

y（w*x+b）>=1是约束条件与距离方程，求最大值的问题。将条件代入，化简得，1/w>=1,求最大值。再转换一下，就是找w的最小值。

求w最小值与求w平方最小值，是一样的

常用方法

选拉格朗日乘数法

 

利用对偶性质

对于公式推导，我只是求个大概。不求甚解。

松弛变量（对分界线平移）

 

核函数

？？？？？？？？？？？？？？？？？？？？？？？？？