1.线性回归的应用场景
线性回归常用于简单场景估计，早期如果不知道实际模型的时候，应用非常广泛，比如已经电线长度，如何估计出电阻；再比如根据社区人口，估计社区每天的垃圾数量。
2.常用概念
- 估计值：根据线性回归模型，从输入推算的输出，常用符号 y ^ \hat{y} y^
- 列向量:n行1列矩阵,字母加粗表示列向量
[ 1 2 . . . n ] \left[ \begin{matrix} 1 \\ 2 \\ ... \\ n \end{matrix} \right] ⎣⎢⎢⎡12...n⎦⎥⎥⎤ - 解释变量:输入，表示为x
- 响应变量:响应，表示为y
- 系数:决定输入的权重，表示为 ω \omega ω
3.线性回归函数的数学表示
求解函数:
y
=
w
T
x
y=\pmb{w}^T\pmb{x}
y=wwwTxxx +
ω
\omega
ω0
4.求解目标
目标值与估计值的均方误差最小，之所以用均方误差，因为防止正负误差抵消
目标：
求
w
w
w，使得
E
(
w
)
E(w)
E(w)最小
E
(
w
)
=
∑
i
=
1
n
(
y
i
−
w
T
x
i
)
2
E(w) = \sum_{i=1}^n(y_{i}-w^Tx_{i})^2
E(w)=∑i=1n(yi−wTxi)2
用向量表示:
E
(
w
)
=
(
y
−
X
w
)
T
(
y
−
X
w
)
E(w)=(y-Xw)^T(y-Xw)
E(w)=(y−Xw)T(y−Xw)
对
w
w
w微分求极小值
X
T
(
y
−
X
w
)
=
0
X^T(y-Xw) =0
XT(y−Xw)=0
w
=
(
X
T
X
)
−
1
X
T
y
w=(X^TX)^{-1}X^Ty
w=(XTX)−1XTy
3611
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
