1. 定义(与逻辑回归(Logistic Regression, LR)的比较)
1. Hypothesis函数:
LR:
hθ(x)=g(θTx)=11+e−θTx
SVM:
hθ(x)=1if θTx≥0hθ(x)=0if θTx<0
2. Cost函数:
LR:
1m∑i=1m[y(i)(−loghθ(x(i)))+(1−y(i))(−log(1−hθ(x(i))))]+λ2m∑j=1nθ2j
SVM:
C∑i=1m[y(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))]+12∑j=1nθ2j
其中
cost1,cost0
的图像(
θTx
即
z
):
由图像可知,为使Cost函数最小,需要:
y=0
时,尽量使
θTx≤−1
2. 用Kernel函数定义新特征
1. 原理
给定训练样本
(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))
令
l(1)=x(1),l(2)=x(2),...,l(m)=x(m)
对任一
x
,有:
即用Kernel函数表示
x
与
f(x)=ae−(x−b)22c2
由此可得特征向量 (Feature Vector):
f=⎡⎣⎢⎢⎢⎢⎢⎢⎢f0f1f2⋮fm⎤⎦⎥⎥⎥⎥⎥⎥⎥
类似
x0
,
f0=1
即实现了原特征向量的如下映射:
X∈Rn+1→f∈Rm+1
2. Hypothesis函数:
y=1if θTf≥0y=0if θTf<0
3. Cost函数 (n=m) :
C∑i=1m[y(i)cost1(θTf(i))+(1−y(i))cost0(θTf(i))]+12∑j=1nθ2j