【机器学习】线性回归模型+梯度下降法大全解（满满干货）

一，
二，引用例子
通过俄勒冈州波特兰市的城市住房价格的数据。
我们根据不同的房子大小size以及对应的不同售价组成的数据集来画图。
如下。
我们需要预测房子size是1250平方尺对应的房价是多少。
我们知道这是一个监督学习，因为有准确的输出答案。同时这个也是回归问题，也就是我们预测一个具体的数值的输出。

size in feets^2(x)	Price in 1000’s(y)
2104	460
1416	232

三，模型建立

其中h是假设函数。
（1）接下来中的设计学习算法任务中，我们需要做的是决定怎么表示这个假设函数h。参考文档

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过 Euler integral

$$h_{\theta }(x)={\theta }_0+{\theta }_1\ast x$$
明显，我们需要做的是预测y是一个关于x的线性函数。
以上所建立的模型是一元线性回归模型（单变量线性回归模型）。
$${\theta }_i是模型参数$$
（2）通过训练集确定模型参数
为了尽量将使得训练集中的x通过假设函数h预测出来的y非常接近实际的训练集数据，这个问题就是需要我们解决线性回归中的最小化问题。我们需要$$（h_{\theta }(x)-y{）}^2$$
无限趋近0。
所以，对于整个训练集，我们需要使得
$$\underset{{\theta }_0,{\theta }_1}{\mathrm{minmize}}\frac{1}{2m}\sum _{i=1}^m（h_{\theta }(x^{(i)})-y^{(i)}{）}^2$$
尽可能小。
此时，例子中的问题已经转化成寻找我训练集中预测值和真实值的差的平方的和的1/2m 最小的$${\theta }_1和{\theta }_2$$
（3）代价函数 （cost function)（平方误差函数）（平方误差代价函数）
$$J（{\theta }_1,{\theta }_2)=\frac{1}{2m}\sum _{i=1}^m（h_{\theta }(x_i)-y_i{）}^2$$
$$我们需要做的是关于{\theta }_1{\theta }_2对函数J（{\theta }_1,{\theta }_2)=\frac{1}{2m}\sum _{i=1}^m（h_{\theta }(x^{(i)})-y^{(i)}{）}^2求最小值$$

四，通过等高线来展示代价函数

我们知道，代价函数$J（{\theta }_1,{\theta }_2)=\frac{1}{2m}{\sum }_{i=1}^m（h_{\theta }(x_i)-y_i{）}^2$$是严格意义上的凸函数，也就是存在唯一一个全局最小值，较小的学习率和足够的的迭代次数。当我们找到等高图中J的最小值对应的 ${\theta }_1,{\theta }_2$的值，就是确定了线性回归模型中的两个模型参数。

五，梯度下降法（算法优化）解决无约束优化问题