合页损失函数
[ z ] + = { 0 , z ≤ 0 z , z > 0 [z]_{+} = \{^{z, z >0}_{0, z\le 0} [z]+={ 0,z≤0z,z>0
SVM的目标函数
对于线性SVM,我们知道它的原始最优化问题为:
m i n w , b , ξ 1 / 2 ∣ ∣ w ∣ ∣ 2 + C Σ i = 1 N ξ i s . t . y i ( w ⋅ x i + b ) ≥ 1 − ξ i , i = 1 , 2 , . . . , N ξ i ≥ 0 , i = 1 , 2 , . . . , N min_{w,b,\xi} 1/2||w||^2 +C \Sigma_{i=1}^N\xi_i\\ s.t. y_i(w\cdot x_i+b)\ge 1-\xi_i, i=1,2,...,N\\ \xi_i\ge 0, i=1,2,...,N minw,b,ξ1/2∣∣w∣∣2+CΣi=1Nξis.t.yi(w⋅xi+b)≥1−ξi,i=1,2,...,Nξi≥0,i=1,2,...,N
对于原始优化问题,当 y i ( w ⋅ x i + b ) ≥ 1 y_i(w\cdot x_i+b)\ge 1 yi(w⋅xi+b)≥1时,数据点落在了间隔边界正确的一侧,这时 ξ i \xi_i ξi为0,而当 y i ( w ⋅ x i + b )