本文探讨了SVM与Logistic回归之间的关系，主要关注它们的目标函数。SVM的目标函数通过合页损失函数确保间隔最大化，而Logistic回归采用交叉熵误差函数实现分类。尽管形式不同，但两者在优化目标上存在相似性，都包含正则化项以防止过拟合。
合页损失函数
[ z ] + = { 0 , z ≤ 0 z , z > 0 [z]_{+} = \{^{z, z >0}_{0, z\le 0} [z]+={ 0,z≤0z,z>0
SVM的目标函数
对于线性SVM，我们知道它的原始最优化问题为：
m i n w , b , ξ 1 / 2 ∣ ∣ w ∣ ∣ 2 + C Σ i = 1 N ξ i s . t . y i ( w ⋅ x i + b ) ≥ 1 − ξ i , i = 1 , 2 , . . . , N ξ i ≥ 0 , i = 1 , 2 , . . . , N min_{w,b,\xi} 1/2||w||^2 +C \Sigma_{i=1}^N\xi_i\\ s.t. y_i(w\cdot x_i+b)\ge 1-\xi_i, i=1,2,...,N\\ \xi_i\ge 0, i=1,2,...,N minw,b,ξ1/2∣∣w∣∣2+CΣi=1Nξis.t.yi(w⋅xi+b)≥1−ξi,i=1,2,...,Nξi≥0,i=1,2,...,N
对于原始优化问题，当 y i ( w ⋅ x i + b ) ≥ 1 y_i(w\cdot x_i+b)\ge 1 yi(w⋅xi+b)≥1时，数据点落在了间隔边界正确的一侧，这时 ξ i \xi_i ξi为0，而当 y i ( w ⋅ x i + b )
最低0.47元/天 解锁文章
扫一扫
6739
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
