机器学习常用算法之回归问题

1、线性回归

线性回归原理：
m个输入样本 -> m个输出标签
                 x1 -> y1
                 x2 -> y2
                 x3 -> y3
                 ...
                 xm -> ym
           xk + b -> y

1.1 预测函数：
      联系输出和输入的数学函数。
    y=kx+b
    其中的k和b称为模型参数，根据已知输入样本和对应的输出标签来训练得出。

1.2 均方误差：
      每一个已知输入样本所对应的实际输出标签和由模型预测出来的输出标签之间的误差平方的平均值。
    kx1+b=y1'
    kx2+b=y2'
    kx3+b=y3'
    ...
    kxm+b=ym'
(y1-y1')^2+(y2-y2')^2+(y3-y3')^2+...+(ym-ym')^2
-------------------------------------------------------------
                                         m

1.3 成本函数（损失函数）：
      将均方误差看作是关于模型参数的函数，谓之成本函数，记做J(k,b)。
线性回归问题的本质就是寻找能够使成本函数J(k,b)极小值的模型参数。

1.4 梯度下降
      loss = J(k, b)

1.5 接口

sklearn.linear_model.LinearRegression()

--> 1、得到线性回归器

线性回归器.fit(输入样本, 输出标签)

--> 2、训练模型

线性回归器.predict(输入样本)

--> 3、预测输出标签

import pickle   # 存储模型（硬盘--内存）
import numpy as np
import