Liner Regression problem

Model Representation（模型构建）

以房价预测为例，假设有如下可供训练的数据集(数据总量为m)：

住宅面积 (x)	销售价格(y)
123	45w
145	55w
120	42w
…	…
80	30w

将这些点绘制在直角坐标系上则为：

其中x是住宅面积，y是销售的价格，那么假设预测函数为h且函数h是线性的，那么可设函数$h=\theta_0+\theta_1x$，其中$\theta_0、\theta_1$为参数。

代价函数

如何用假设的函数h来较好的拟合训练数据集是我们接下来要关心的问题。即如下图所示：

这样就可以将问题看成一个最优化问题，即优化参数使得所有标签值到预测值的距离总和越小，由于接下来要进行求导，为求导方便，那么定义代价函数$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{n}(h_\theta(x^{(i)})-y^{(i)})^2$。
那么总结如下图所示：

如何最小化代价函数（梯度下降）

不断调整参数$\theta_0,\theta_1$,使得代价函数J最小

α的取值

• α若太大，可能跳过局部最优值，甚至无法收敛
• α 若太小，收敛速度太慢