机器学习（二）线性回归、多项式回归、多元回归

一、线性回归

简介：线性回归使用数据点之间的关系在所有数据点之间画一条之线，这条直线可以预测未来的值。
可以借助scipy绘制线性回归线。

from scipy import stats
import matplotlib.pyplot as plt


x = [1,2,3,4,5,6,7,8,9,10]
y = [2,4,6,9,10,16,14,18,20,23]

slope,intercept,r,p,std_err = stats.linregress(x,y) 
#slope 是线性回归线的 斜率，  intercept 是 线性回归线的截距， r 是衡量拟合性能度量


def func(x):
    return slope*x+intercept

mymodel = list(map(func,x))

plt.plot(x,mymodel)
plt.scatter(x,y)
plt.show()

其中，x轴和y轴的值关系越好，预测的就越准，该关系用一个称为 R-平方（R-Squared）的值来度量。也就是 stats.linregress()的第三个返回值。一般情况下 0<R<1

slope,intercept,r,p,std_err = stats.linregress(x,y) #slope 是线性回归线的 斜率，  intercept 是 线性回归线的截距， r 是衡量拟合性能度量
print(r)

0.9873471343672663 #说明拟合的好

二、多项式回归

若数据点显然不符合线性回归，可以考虑多项式回归。和线性回归一样，多项式回归使用变量x和变量y之间的关系来找到绘制数据点的关系。 常用 numpy.poly1d(numpy.polyfit(x,y,number) 绘制多项式回归线。

import numpy
import matplotlib.pyplot as plt

x = [1,2,3,5,6,7,8,9,10,12,13,14,15,16,18,19,21,22]
y = [100,90,80,60,60,55,60,65,70,70,75,76,78,79,90,99,99,100]

mymodel = numpy.poly1d(numpy.polyfit(x, y, 3)) # 3是最高项次数
print(numpy.polyfit(x,y,3)) #目的是得到 多项式的系数
myline = numpy.linspace(1, 22, 100)
print(mymodel)
plt.scatter(x, y)
plt.plot(myline, mymodel(myline))
plt.show()

[-3.03208795e-02  1.34333191e+00 -1.55383039e+01  1.13768037e+02]
          3         2
-0.03032 x + 1.343 x - 15.54 x + 113.8

同样的，和线性回归相似，有关系 R-Squared 值度量拟合关系如何。使用skelearn.metrics 中的 r2_score()方法

import numpy
import matplotlib.pyplot as plt
from sklearn.metrics import r2_score  # r2_score

x = [1,2,3,5,6,7,8,9,10,12,13,14,15,16,18,19,21,22]
y = [100,90,80,60,60,55,60,65,70,70,75,76,78,79,90,99,99,100]

mymodel = numpy.poly1d(numpy.polyfit(x, y, 3))
print(numpy.polyfit(x,y,3))
myline = numpy.linspace(1, 22, 100)
print(mymodel)
print(r2_score(y,mymodel(x)))  # 输出 r2_score

plt.scatter(x, y)
plt.plot(myline, mymodel(myline))
plt.show()

0.9432150416451027  #拟合很不错

三、多元回归

多元回归就像线性回归一样，但需要有多个独立值，即 使用多个变量来预测一个值。 可以使用sklearn.linear_model.LinearRegression()方法

在 sklearn 模块中，使用 LinearRegression() 方法创建一个线性回归对象，该对象有一个 fit() 方法，该方法将独立值和从属值作为参数。

import pandas
from sklearn import linear_model
import numpy

df = pandas.read_csv("cars.csv")
#print(df)

X = df[["Weight","Volume"]]
y = df["CO2"]

regr = linear_model.LinearRegression()#关键代码

regr.fit(X,y) #进行拟合

print("拟合评价",regr.score(X,y))#相关关系
print("关系系数",regr.coef_) # y = k1*x1+k2*x2系数
predict_co2 = regr.predict([[2300,1300]])
print("预测值",predict_co2)

#out
拟合评价 0.3765564043619988
关系系数 [0.00755095 0.00780526]
预测值 [107.2087328]