机器学习之线性回归和梯度下降算法

一般来说，我们根据机器学习的任务把不同的业务模型划分为四种基本问题。
回归问题，分类问题，聚类问题和降维问题。
回归问题 \ 都是在有监督条件下，根据已知的输入和输出，构建
分类问题 / 预测模型，对未知输出的输入给出大概率的输出
我们举个例子：
输入 输出
1 2
2 4
3 6
4 8
------- y = x * 2
5 ? -> 10
输出是一个连续值，回归问题。
我们再看一个例子：
输入 输出
1 1
2 0
3 1
4 0
5 1
6 0
------- 奇数->1，偶数->0
7 ? -> 1
输出是一个离散值，分类问题。
聚类问题：在无监督模式下，根据输入的特征划分族群。
降维问题：在无监督模式下，对输入特征进行取舍以降低维度。
输入 输出
x1 y1
x2 y2
…

xm ym
y = w0+w1x - 通过线性方程描述输出和输入之间的关系，已解决回归问题，这就是线性回归。

预测函数：y = w0+w1x
预测输出为：
x1 -> y1’=w0+w1x1
x2 -> y2’=w0+w1x2
…
xm->ym’=w0+w1xm
y1 y2 … ym : 实际输出
(y1 - y1’) ^ 2 : 单样本误差

总样本误差：
( y 1 − y 1 ′ ) 2 + ( y 2 − y 2 ′ ) 2 + . . . + ( y m − y m ′ ) 2 2 = E \frac{(y1-y1') ^ 2 + ( y2-y2') ^ 2 + ... + (ym-ym') ^ 2}{2} = E 2(y1−y1