吴恩达机器学习笔记 1单变量线性回归

机器学习

（小白通俗理解)

机器学习包括监督学习和无监督学习

监督学习 首先，监督学习，我们所给的数据集由正确答案组成，计算机根据正确数据集对未知样本进行结果预测 无监督学习 无监督学习，所给数据集并没有正确答案，计算机会自己给数据进行分析分类，将数据分成不同的簇，因而常涉及聚类算法

实例：预测房价，通过已有数据集（包含有该市的住房价格），我们根据不同的房屋尺寸的价格来建造数据模型，预测得到所需要的大概价格，这是一个回归问题

课程中自定义字母含义
m:训练样本的数量
x:输入变量或者特征
y:表示输出变量即训练的目标变量
(x,y):表示一个训练样本
(x⁽ⁱ⁾,y⁽ⁱ⁾):表示特定训练样本，上标i表数据集索引，表格中第i行
h:一个假设函数，给出x，h作为引导输出y
:=表赋值运算符 =表示真假判定
3.基础模型，线性回归（单变量线性回归）
线性假设函数
h表示一个函数，x是房屋尺寸的大小，根据输入所要预测的房屋尺寸x来得到y值，因此表示为
$h_{\theta }={\theta }_0+{\theta }_{1}x$
只有一个变量，故称为单变量线性回归问题

4.代价函数(又称平方误差函数)
我们的目标是根据已有的x,y拟合出一个函数，使所得函数可以更准确的预测给定x下的y值，即寻求对应的${\theta }_0$和${\theta }_1$，使得所得预测值与实际值误差的平方最小
因而问题转化为求解代价函数
$minimize{\theta }_0{\theta }_1=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
即
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
即为求${\theta }_0$和${\theta }_1$，使$minimizeJ({\theta }_0,{\theta }_1)$

代价函数又称为平方误差函数，有时也被称为平方误差代价函数。平方误差代价函数，对于大多数问题，特别是回归问题，都有一个合理的选择，其他的代价函数也会有很好的作用，但是平方误差代价函数是解决回归问题的最常用手段。

5.梯度下降算法 (gradient descent algorithm)（可以用来最小化任何代价函数）又叫"batch"gradient descent定义：

思想：开始随机选择参数组合，计算代价函数，然后寻找能让代价函数值下降最多的参数集合，持续做直到得到局部最小值。由于没有尝试所有参数组合，故不能确定所得局部最小值是否为全局最小值。

方法：重复直到收敛（repeat until convergence）
${\theta }_j:={\theta }_j-\alpha \frac{\delta }{\delta {\theta }_j}J({\theta }_0,{\theta }_1)$ (for j=0 and j=1)
$\alpha$是一个被称为学习率的数字

学习率决定代价函数下降程度最大的方向向下迈出的步子有多大，每一次更新都同时让所有的参数减去学习率乘以代价函数的导数

注意要同步更新(simultaneous update)
$temp0:={\theta }_0-\alpha \frac{\delta }{\delta {\theta }_0}J({\theta }_0,{\theta }_1)$
$temp1:={\theta }_1-\alpha \frac{\delta }{\delta {\theta }_1}J({\theta }_0,{\theta }_1)$
${\theta }_0:=temp0$
${\theta }_1:=temp1$
(注意顺序必须是这样，否则做不到同步如：
$temp0:={\theta }_0-\alpha \frac{\delta }{\delta {\theta }_0}J({\theta }_0,{\theta }_1)$
${\theta }_0:=temp0$ 这里将${\theta }_0$更新后，下面更新${\theta }_1$式子里的${\theta }_0$已经变化，因此做不到同步更新
$temp1:={\theta }_1-\alpha \frac{\delta }{\delta {\theta }_1}J({\theta }_0,{\theta }_1)$
${\theta }_1:=temp1$)

6.第一个机器学习算法（梯度下降的线性回归算法）
现在将梯度下降算法应用于线性回归去最小化平方差代价函数
对于线性回归的平方差代价函数(即对该代价函数求偏导数进一步化简得如下)
$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$
$${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$