线性回归与梯度下降

线性回归与梯度下降

现实生活中我们可以通过一个房子的地点、楼层、朝向等信息（在机器学习中称这些信息为feature，特征）估算一个房子的平米价格。估算价格时我们需要知道一些房子的数据，我们凭空去猜一个房子的价格得到准确结果的概率不大。这些我们事先知道的房子数据被称为训练数据。
可以看成我们脑海中有一个函数帮助我们估计结果的值。在计算机中去拟合训练数据，也就说我们通过函数得到的结果不会和实际结果差的太远。
设我们的函数为

$$y=\theta x$$

如果有i个特征那么函数就是

$$h(\theta)=∑_{i}\theta_ix_i$$
得到的结果为y

为了知道预测结果准确与否我们设定了消耗函数（costfuction）

$$J(\theta)=\frac{1}{2}\sum(h(\theta)-y)^{2}$$

我们希望消耗函数的值越小越好，以为消耗函数代表我们预测结果和实际结果的误差。

下面我们使用梯度下降的方法求解。假设我们只有一条数据，那么对于第j个参数的变化就是：

$$\theta_{j}=\theta_{j}-\alpha\frac{\partial J(\theta)}{\partial \theta_{j}}$$

$$\frac{\partial J(\theta)}{\partial \theta_{j}}=\frac{\partial}{\partial \theta_{j}}\frac{1}{2}(h_{\theta}(x)-y)^{2}$$

$$=2\frac{1}{2}(h(\theta)-y)\frac{\partial}{\partial \theta_{j}}(h_{\theta}(x)-y)$$

$$=(h(\theta)-y)\frac{\partial}{\partial \theta_{j}}(h_{\theta}(x)-y)$$

$$=(h(\theta)-y)\frac{\partial}{\partial \theta_{j}}(\sum_{i=0}^{n}\theta_{i}x_{i}-y)$$

$$=(h_{\theta}(x)-y)x_{j}$$

其中alpha为下降的步长，步长不宜过大，过大了会越过极点，也不宜过小，过小会下降很慢。