3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
.
.
.
+
w
d
x
d
+
b
f(x) =w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b
f(x)=w1x1+w2x2+...+wdxd+b
向量形式为
f
(
x
)
=
w
T
x
+
b
f(x)=w^{T}x+b
f(x)=wTx+b
其中
w
=
(
w
1
;
w
2
;
.
.
.
;
w
d
)
.
w=(w_{1};w_{2};...;w_{d}).
w=(w1;w2;...;wd).
w
w
w和
b
b
b学得之后，模型得以确定
优点：形式简单，易于建模，有良好的可解释性
3.2 线性回归
线性回归试图学得
f
(
x
i
)
=
w
x
i
+
b
f(x_{i})=wx_{i}+b
f(xi)=wxi+b使得
f
(
x
i
)
≈
y
i
f(x_{i})\approx y_{i}
f(xi)≈yi
均方误差是回归任务中常用的性能度量，我们试图让均方误差最小化，即
(
w
∗
,
b
∗
)
=
a
r
g
m
i
n
w
,
b
=
∑
i
=
0
n
(
f
(
x
i
)
−
y
i
)
2
(w^{*},b^{*})=arg min_{w,b}=\sum_{i=0}^n(f(x_{i})-y_{i})^{2}
(w∗,b∗)=argminw,b=i=0∑n(f(xi)−yi)2
=
a
r
g
m
i
n
w
,
b
=
∑
i
=
0
n
(
y
i
−
w
x
i
−
b
)
2
=arg min_{w,b}=\sum_{i=0}^n(y_{i}-wx_{i}-b)^{2}
=argminw,b=i=0∑n(yi−wxi−b)2
均方误差的几何意义对应了欧几里得距离，利用均方误差进行模型求解的方法叫做最小二乘法。在线性回归中最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。
求解参数
w
w
w和
b
b
b的过程叫做线性回归最小二乘参数估计。求解参数
w
w
w和
b
b
b的过程本质上是一个多元函数求最值（点）的问题。更具体点是凸函数求最值的问题。
求解出
w
=
∑
i
=
1
m
y
i
(
x
i
−
x
‾
)
∑
i
=
1
m
x
i
2
−
1
m
(
∑
i
=
1
m
x
i
)
2
w=\frac{\sum_{i=1}^my_{i}(x_{i}-\overline{x})}{\sum_{i=1}^mx_{i}^{2}-\frac{1}{m}(\sum_{i=1}^mx_{i})^{2}}
w=∑i=1mxi2−m1(∑i=1mxi)2∑i=1myi(xi−x)
b
=
1
m
∑
i
=
1
m
(
y
i
−
w
x
i
)
b=\frac{1}{m}\sum_{i=1}^m(y_{i}-wx_{i})
b=m1i=1∑m(yi−wxi)
776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
