机器学习（八）：简单线性回归

1、统计量

：描述数据特征

2、集中趋势衡量

2.1均值（mean）：求和之后除以个数
2.3中位数（median）：将数据中的各个数值按照大小顺序排列，居于中间位置的数。
2.3众数：数据中出现次数最多的数。

3、离散程度衡量

3.1方差（variance）

3.2标准差（standard deviation）

4、回归（regression）

回归：Y变量是连续数值型（continuous numerical variable），如：房价，人数，降雨量。
分类（classification）：Y变量为类别型（categorical variable），如：颜色类别，电脑品牌，有无信誉。

4.1简单线性回归（simple linear regression）

4.1.1很多做决定过过程通常是根据两个或者多个变量之间的关系。
4.1.2回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间是什么关系。
4.1.3被预测的变量叫做:因变量(dependent variable)，y，输出(output)。
4.1.4被用来进行预测的变量叫做∶自变量(independent variable)，x，输入(input)。

4.2简单线性回归介绍

简单线性回归包名一个自变量(×)和一个因变量(y）
以上两个变量的关系用一条直线来模拟。
如果包含两个以上的自变量，则称作多元回归分析(multiple regression)。

4.3简单线性回归模型

被用来描述因变量(y）和自变量(X)以及偏差(error)之间关系的方程叫做回归模型。
简单线性回归的模型是:

参数B0和B1，偏差e.

4.4简单线性回归方程

正向线性关系：

负向线性关系：

5、估计的简单线性回归方程

6、线性回归分析流程

知道模型，但是不知道B0和B1，根据已知数据，进行估计方程确定，再确定B0和B1。

7、关于偏差e的假定

e是一个随机的变量，均值为O
e的方差(variance)对于所有的自变量x是一样的
e的值是独立的
e满足正态分布

8、简单线性回归模型举例

汽车卖家做电视广告数里与卖出的汽车数里:

训练出合适的回归线

#简单现行回归：只有一个自变量 y=k*x+b 预测使 (y-y*)^2  最小
import numpy as np

def fitSLR(x,y):
    n=len(x)
    dinominator = 0
    numerator=0
    for i in range(0,n):
        numerator += (x[i]-np.mean(x))*(y[i]-np.mean(y))
        dinominator += (x[i]-np.mean(x))**2
        
    print("numerator:"+str(numerator))
    print("dinominator:"+str(dinominator))
    
    b1 = numerator/float(dinominator)
    b0 = np.mean(y)/float(np.mean(x))
    
    return b0,b1


# y= b0+x*b1
def prefict(x,b0,b1):
    return b0+x*b1

x=[1,3,2,1,3]
y=[14,24,18,17,27]

b0,b1=fitSLR(x, y)
y_predict = prefict(6,b0,b1)
print("y_predict:"+str(y_predict))