希望这几个月花的时间,可以让我重新拿起这些内容了。
从logistic回归到SVM。
logistic回归的目的是从特征学习出一个0/1分类的模型,而这个模型是将特征的线性组合作为自变量,由于自变量的取值是从负无穷到正无穷,因此,使用logistic函数(也称sigmoid函数)将自变量映射到(0,1)上。
对于用于分类的SVM,它是一个二分类的分类模型,也即,给定一个包含正例和反例(正样本点和负样本点)的样本集合,SVM的目的是找到一个超平面对样本进行分割,并使正样本点和负样本点之间的间隔最大,学习的目标是找到一个分类超平面,分类面由w和b决定,w是法向量,b是截距,法向量指向的一侧是正类,另一个是负类。
但Logistic和SVM的区别在于:一个关注全局,一个关注局部。
对于Logistic函数,表示为 :
其中x为n维特征向量,函数g为logistic函数。