1. 线性回归模型
通过属性的线性组合进行预测。对于
n
n
n维数据样本，有
f
(
x
1
,
x
2
,
⋯
,
x
n
)
=
ω
0
x
0
+
ω
1
x
1
+
⋯
+
ω
n
x
n
+
b
f(x_1,x_2,\cdots,x_n)=\omega_0x_0+\omega_1x_1+\cdots+\omega_nx_n+b
f(x1,x2,⋯,xn)=ω0x0+ω1x1+⋯+ωnxn+b
表示为矩阵形式
f
(
x
)
=
ω
T
x
+
b
f(x)=\omega^Tx+b
f(x)=ωTx+b
其中
ω
=
(
ω
0
,
ω
1
,
⋯
,
ω
n
)
T
,
x
=
(
x
0
,
x
1
,
⋯
,
x
n
)
T
\omega=(\omega_0,\omega_1,\cdots,\omega_n)^T,x=(x_0,x_1,\cdots,x_n)^T
ω=(ω0,ω1,⋯,ωn)T,x=(x0,x1,⋯,xn)T
2. 损失函数
线性回归的损失函数为MSE（均分误差），即
E
(
ω
,
b
)
=
∑
i
=
1
m
1
2
(
y
i
−
ω
T
x
i
−
b
)
2
=
1
2
(
y
−
X
ω
^
)
T
(
y
−
X
ω
^
)
\begin{aligned} E(\omega,b)&=\sum_{i=1}^m\frac{1}{2}(y_i-\omega^Tx_i-b)^2\\ &=\frac{1}{2}(y-X\hat{\omega})^T(y-X\hat{\omega}) \end{aligned}
E(ω,b)=i=1∑m21(yi−ωTxi−b)2=21(y−Xω^)T(y−Xω^)
其中，
ω
^
=
(
ω
;
b
)
\hat{\omega}=(\omega;b)
ω^=(ω;b)，
X
X
X为为
m
×
n
m\times n
m×n维的矩阵，
m
m
m代表样本的个数，
n
n
n代表样本的特征数。
3. 损失函数求解
3.1 最小二乘法
损失函数
E
E
E对
ω
^
\hat{\omega}
ω^求导：
∂
E
∂
ω
^
=
X
T
(
X
ω
^
−
y
)
\frac{\partial E}{\partial\hat{\omega}}=X^T(X\hat{\omega}-y)
∂ω^∂E=XT(Xω^−y)
若
X
T
X
X^TX
XTX为满秩矩阵或正定矩阵，有：
ω
^
=
(
X
T
X
)
−
1
X
T
y
\hat{\omega}=(X^TX)^{-1}X^Ty
ω^=(XTX)−1XTy
若不为满秩矩阵，则有多个满足条件的解，可以引入正则化项进一步求解。
3.2 梯度下降法
损失函数
E
E
E对
ω
^
\hat{\omega}
ω^求导：
∂
E
∂
ω
^
=
X
T
(
X
ω
^
−
y
)
\frac{\partial E}{\partial\hat{\omega}}=X^T(X\hat{\omega}-y)
∂ω^∂E=XT(Xω^−y)
参数的更新公式为
ω
^
=
ω
^
−
α
X
T
(
X
ω
^
−
y
)
\hat{\omega}=\hat{\omega}-\alpha X^T(X\hat{\omega}-y)
ω^=ω^−αXT(Xω^−y)
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
