机器学习-线性回归及梯度下降算法

机器学习-线性回归及梯度下降算法

四个要素

1. Hypothsis
2. parameters
3. costFunction
4. Goal

以CS229第一节为例

(Hypothesis)假设房屋的价格与房屋面积的关系是一个一次函数

$${H}_{\theta }(x)={\theta }_0+{\theta }_1\ast x$$

Parameters

$${\theta }_0,{\theta }_1$$

cost function

$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)}))-y^{(i)}{)}^2$$

Goal

$$minimiz{e}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$$

Matlab 实现过程

注意 Matlab定义函数需要单独 .m 文件中定义函数

过程梳理

初始化参数${\theta }_0,{\theta }_1,\alpha ,iterations(迭代次数)$（这里均初始化为 0）
从初始${\theta }_0,{\theta }_1$，根据梯度下降（Gradient Descent）对${\theta }_0,{\theta }_1$迭代，并计算更新后的损失函数$J(\theta )$的值，重复预先设定的循环次数

$\theta$的迭代公式如下
$${\theta }_j:={\theta }_j-\frac{\alpha }{m}\frac{\partial }{\partial \theta }J(\theta )$$
其中$\alpha$被称为学习率(learning rate)