模型
- 线性回归
- LR
- 决策树
- SVM
- 朴素贝叶斯分类器
- KNN
——————————————————————————————————————————————————
线性回归
说明:
w=(w1;w2;…;wd), w = ( w 1 ; w 2 ; … ; w d ) ,
x=(x1;x2;…;xd), x = ( x 1 ; x 2 ; … ; x d ) ,
W=(w;b), W = ( w ; b ) ,
X=⎛⎝⎜⎜⎜⎜⎜xT1xT2⋮xTm11⋮1⎞⎠⎟⎟⎟⎟⎟, X = ( x 1 T 1 x 2 T 1 ⋮ ⋮ x m T 1 ) ,
y=(y1;y2;…;ym). y = ( y 1 ; y 2 ; … ; y m ) .
模型表达式:
f(X[i])=X[i]TW. f ( X [ i ] ) = X [ i ] T W .
损失函数:
f(W)=(y−XW)T(y−XW). f ( W ) = ( y − X W ) T ( y − X W ) .
模型求解方法:
最小二乘法——基于均方误差最小化来进行模型的求解。
方法使用详解:
⇒∂f(W)∂W=2XT(XW−y) ⇒ ∂ f ( W ) ∂ W = 2 X T ( X W − y )
⇒2XT(XW−y)=0 ⇒ 2 X T ( X W − y ) = 0
XTX X T X 为满秩矩阵或正定矩阵时
⇒W=(XTX)−1XTy ⇒ W = ( X T X ) − 1 X T y
⇒f(X[i])=X[i]T(XTX)−1XTy ⇒ f ( X [ i ] ) = X [ i ] T ( X T X ) − 1 X T y
XTX X T X 非满秩矩阵或正定矩阵时,引入正则化
——————————————————————————————————————————————————
LR
说明:
w=(w1;w2;…;wd), w = ( w 1 ; w 2 ; … ; w d ) ,
x=(x1;x2;…;xd), x = ( x 1 ; x 2 ; … ; x d ) ,
p(y=1|x)=f(x), p ( y = 1 | x ) = f ( x ) ,
p(y=0|x)=1−f(x), p ( y = 0 | x ) = 1 − f ( x ) ,
β=(w;b), β = ( w ; b ) ,
X=(x;1), X = ( x ; 1 ) ,
p(yi|Xi;β)=yip(y=1|Xi;β)+(1−yi)p(y=0|Xi;β). p ( y i | X i ; β ) = y i p ( y = 1 | X i ; β ) + ( 1 − y i ) p ( y = 0 | X i ; β ) .
模型表达式:
f(x)=11+e−(wTx+b) f ( x ) = 1 1 + e − ( w T x