《机器学习》周志华 读书笔记————第三章 线性模型
数据集：
D
=
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
.
.
.
.
.
(
x
m
,
y
m
)
D={(x_{1},y_{1}),(x_{2},y_{2}).....(x_{m},y_{m})}
D=(x1,y1),(x2,y2).....(xm,ym)
其中：
x
i
=
(
x
i
1
,
x
i
2
.
.
.
x
i
d
)
,
y
i
∈
R
x_{i}=(x_{i1},x_{i2}...x_{id}),y_{i}\in\R
xi=(xi1,xi2...xid),yi∈R
拟合模型：
y
=
w
x
+
b
y=wx+b
y=wx+b
目标函数：
(
w
∗
,
b
∗
)
=
a
r
g
m
i
n
w
,
b
=
∑
i
=
1
m
(
f
(
x
i
)
−
y
)
2
(w^{*},b^{*})=argmin_{w,b}=\sum_{i=1}^{m}(f(x_{i})-y)^{{_{}}^{2}}
(w∗,b∗)=argminw,b=∑i=1m(f(xi)−y)2
如果
x
x
x为一维的，非常简单，利用最小二乘法求导可得：
w
=
∑
i
=
1
m
y
i
(
x
i
−
x
‾
)
∑
i
=
1
m
x
i
2
−
1
m
(
∑
i
=
1
m
)
2
w=\frac{\sum_{i=1}^{m}y_{i}(x_{i}-\overline{x})}{\sum_{i=1}^{m}x_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m})_{}^{2}}
w=∑i=1mxi2−m1(∑i=1m)2∑i=1myi(xi−x)
678
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
