注:核方法不仅仅在SVM中应用,它是一种思想,就像正则化一样,能应用于其他的模型。
- 核方法思想
- 相似性度量
- 核方法
3.1 kernel trick(核技巧)
3.2 Kernel Properties(核性质)
3.3核函数解决了非线性可分的问题 - 常见的核函数
4.1 线性核
4.2 多项式核
4.3 高斯核(RBF)
4.4 sigmoid核 - Kernel Logistic Regression (KLR)
1.核方法思想
上一篇文章(手推SVM(一)-数学推导),我们看到的SVM是解决了线性问题,但对于非线性问题,比如下图中的左子图这样的数据分布,应该怎么办呢?如果SVM没有解决这个问题,它就不会长期统治那么久的机器学习界了。
上一篇文章,我们推导出:
L=∑i=1Nαi−∑j=1N∑i=1NαiαjyiyjX⃗ iX⃗ j(1)
N为样本数,如果
X⃗ i,X⃗ j
很大,很多,运算是不是就很慢了呢?那我们该怎么解决呢?
它的想法是能否找到这样一个变换 ϕ ,使得数据点经过变换后,可以在另一空间中通过某一平面分割开。
所以,按照我们的想法,我们不关心变换前 X⃗ i,X⃗ j 的点乘,我们只关心变换后:
K(X⃗ i,X⃗ j)=ϕ(X⃗ i)⋅ϕ(X⃗