机器学习--第二章（代价函数、梯度下降）

单变量线性回归：
所谓的单边量就是指只有一个输入变量（特征变量）
所谓的线性是指变量的次数为1次
所谓的回归是指预测的输出是连续的

m–代表样本的数量
x --代表输入变量（输入特征）
y --代表输出变量（预测的目标变量）
（x,y）表示一个训练样本
训练集—》学习算法–》输出函数h（假设函数,预测函数）
目的是为了得到模型的参数：$\theta$ ，让假设函数来尽量与数据点进行很好的拟合。

如何得到参数 $\theta$：
我们要得到使得输入X时我们的预测值，要最接近该样本的y值的参数 $\theta$

平方误差代价函数：对于回归问题是比较好的选择，

1、线性回归的几个重点，假设函数，代价函数，目标函数；

如下图左边为数据集在平面上的分布，通过假设函数进行拟合，假设函数的自变量是输入特征X
右边为代价函数的在坐标轴下的图像，其自变量是参数$\theta$,

通过选定了参数$\theta$,会得到一个假设函数来拟合数据集中的点，通过代价函数来描述拟合的程度（就是拟合的好坏）。为了拟合的较好，反着推，就是要对代价函数进行最小化（就是是目标函数最小化J($\theta$)）,然后得到在右图中得到较好的参数$\theta$,带入到左图中得到假设函数去对数据集进行拟合。

单标量线性回归假设函数以及代价函数图（右边的代价函数为等高线图，就是没条线上的代价函数值相等）。

由于线性回归的代价函数是一个凸函数，所以不管从哪里初始化都能够等到全局最优解，