线性回归算法

1.简单线性回归
在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析；简单线性回归是属于回归(regression)，即label为连续数值型，即用一条直线，最大程度的拟合样本特征和样本数据标记之间的关系
建模过程，就是找到一个模型，最大程度的拟合我们的数据，最大的拟合数据，本质上就是找到没有拟合的部分，也就是损失的部分尽量小，就是损失函数（loss function）（也有算法是衡量拟合的程度，称函数为效用函数。
对于简单线性回归而言，就是损失函数就是使误差平方和最小，可以适用最小二乘法求出。

2.损失函数
损失函数描述了单个样本预测值和真实值之间误差的程度，用来度量模型一次预测的好坏。

常用损失函数有：
a.0-1损失函数：用来表述分类问题，当预测分类错误时，损失函数值为1，正确为0；
b.平方损失函数：用来描述回归问题，用来表示连续性变量，为预测值与真实值差值的平方；
c.绝对损失函数：用在回归模型，用距离的绝对值来衡量；
d.对数损失函数：是预测值Y和条件概率之间的衡量，此损失函数用到了极大似然估计的思想；

3.用代码实现简单线性回归

#构造数据，画图
import numpy as np
import matplotlib.pyplot as plt

x = np.array([1.,2.,3.,4.,5.])
y = np.array([1.,3.,2.,3.,5,])

plt.scatt