令人头秃的支持向量机SVM之数学知识

前言

支持向量机真的是机器学习的拦路虎，学了有一个星期时间，还是写写博客记录下吧，本篇博客主要是补充一些数学知识。

数学知识

因为在看SVM推导的时候一些数学公式不太好理解，希望帮助到大家！

1.范数求导

• 在SVM里面我们所说的向量范数都是2范数，若x是一个n维的列向量，那么x的范数为：
  $$\Vert x\Vert =\sqrt{x_1^2+x_2^2+\dots +x_n^2}$$

• 对$\Vert x{\Vert }^2$其求偏导数为：

$$\nabla \Vert x{\Vert }^2=2x$$

2.点到超平面距离

• 首先，先回顾下点到平面的距离：
  平面:$w_{1}x+w_{2}y+b=0$，则($x_0,y_0$)到平面的距离：
  $$d=\frac{|w_{1}x+w_{2}y+b|}{\sqrt{w_1^2+w_2^2}}$$

• 点$x_0$到超平面距离：
  $$d=\frac{|w^T{x}_0+b|}{\sqrt{w_1^2+w_2^2+\dots +x_n^2}}=\frac{|w^T{x}_0+b|}{\Vert w\Vert }$$