PCA
SVM
SVM全称为Support Vector Machine
,对于下面的图,H3这条线相比于其他两条线更容易将数据区分开,虽然H2也可以,但是因为离数据间隔较小很容易受噪声影响。所以该方法的基本思想就是利用间隔最大化求最优分离超平面,并且解唯一
。
4margin
本部分主要讲解优化公式如何来?
- γ ^ i = y i ( w T x + b ) \widehat{\gamma}_{i} = y_{i}(w^Tx+b) γ
i=yi(wTx+b)代表关于第 i i i个样本的
functional margin
, y i y_{i} yi代表的是标签。
当 γ ^ i > 0 时 , { y i = 1 , w T x + b > 0 y i = − 1 , w T x + b < 0 当\widehat{\gamma}_{i} >0时,\left\{ \begin{aligned} y^{i}=1,w^Tx+b>0 \\ y^{i}=-1,w^Tx+b<0 \\ \end{aligned} \right. 当γ i>0时,{ yi=1,wTx+b>0yi=−1,wTx+b<0 - γ ^ = m i n γ ^ i , i = 1 , . . . , m , m \widehat{\gamma} = min\widehat{\gamma}_{i},i=1,...,m,m γ