Model Representation(模型构建)
以房价预测为例,假设有如下可供训练的数据集(数据总量为m):
住宅面积 (x) | 销售价格(y) |
---|---|
123 | 45w |
145 | 55w |
120 | 42w |
… | … |
80 | 30w |
将这些点绘制在直角坐标系上则为:
其中x是住宅面积,y是销售的价格,那么假设预测函数为h且函数h是线性的,那么可设函数 h=θ0+θ1x h = θ 0 + θ 1 x ,其中 θ0、θ1 θ 0 、 θ 1 为参数。
代价函数
如何用假设的函数h来较好的拟合训练数据集是我们接下来要关心的问题。即如下图所示:
这样就可以将问题看成一个最优化问题,即优化参数使得所有标签值到预测值的距离总和越小,由于接下来要进行求导,为求导方便,那么定义代价函数
J(θ0,θ1)=12m∑ni=1(hθ(x(i))−y(i))2
J
(
θ
0
,
θ
1
)
=
1
2
m
∑
i
=
1
n
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
。
那么总结如下图所示:
如何最小化代价函数(梯度下降)
不断调整参数
θ0,θ1
θ
0
,
θ
1
,使得代价函数J最小
α的取值
- α若太大,可能跳过局部最优值,甚至无法收敛
- α 若太小,收敛速度太慢