逻辑回归和SVM都是比较理想的分类器,但是各有优缺点,逻辑回归不仅可以得到具体的分类类别,还可以得到连续的概率值(因为逻辑回归实质上是回归);SVM则可以利用kernel将特征投影到高维甚至无穷维来更好地拟合数据。这里我们来看一下逻辑回归和SVM之间有没有什么联系,以及能否将kernel应用到逻辑回归上,使得逻辑回归具备类似SVM的非线性分类特性。
逻辑回归
逻辑回归的假设是下面的一条S型曲线,值域是[0,1],可以用来近似表示概率值:
h(x)=11+exp(−wTx)
如果把h(x)看成是x属于正类的概率值的话,那么可以写成下面的形式:
h(x)=P(+1|x)⟹P(y|x)={
h(x);ify=+11−h(x);ify=−1
根据h(x)这个函数特性,它关于点(0,0.5)对称,因此1-h(x)=h(-x),上面的式子可以归纳成:
P(y|x)=h(yx)=11+exp(−ywTx)
于是可以得出似然函数,然后我们的目标就是最大化似然函数
likehood(h)∝∏i=1Nh(yixi)
target:maxw(ln∏i=1Nh(yixi))⟹target:minw−1N