机器学习之线性回归问题

一.线性回归

1.什么是线性回归问题
线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
2.线性回归的一般步骤

对于一元线性回归(单变量线性回归)来说，学习算法为 y = ax + b
我们换一种写法： hθ(x) = θ0 + θ1x1
线性回归实际上要做的事情就是： 选择合适的参数（θ0, θ1），使得hθ(x)方程，很好的拟合训练集
3.损失函数
大多数机器学习算法都涉及某种形式的优化。优化指的是改变 x 以最小化或最大化某个函数 f(x) 的任务。通常以最小化 f(x) 指代大多数最优化问题，当对其进行最小化时，也把它称为代价函数(cost function)、损失函数(loss function)或误差函数(error function)。
在一般的线性回归模型中，我们使用平方损失函数，即实际结果和观测结果之间差距的平方和，公式如下：

在得到损