scikit-learn机器学习（一）--多元线性回归模型

scikit-learn机器学习（一）–多元线性回归模型
scikit-learn机器学习（二）–岭回归，Lasso回归和ElasticNet回归
scikit-learn机器学习（三）–逻辑回归和线性判别分析LDA

假设我们给定一个样本（x,y），x有n个特征，比如身体健康指数与身高，体重，体脂有关系，那么身高，体重，体脂就是x的三个特征，而身体健康指数就是样本的y值。我们要求出身高，体重，体脂影响身体健康指数所占比例大小，也就是权重。多元线性回归模型就是用来解决这一类的问题。

给定数据集其中
我们需要求出的模型即为：

就是根据数据集中的数据计算出每个特征的权重和b（常数/截距）

线性回归的本质就是就是一个函数的估计问题，求出自变量与因变量之间的关系。

一丶线性回归（一个特征和目标值）

即求解y=a*x+b的问题

scikit-learn库中有自带的数据集，比如糖尿病病人数据集
1.样本数量442
2.每个样本10个特征
3.特征为浮点数，数据在-0.2~0.2之间
4.样本的目标在整数25~346之间

我们只选取其中的一个特征，来进行回归模拟即可

python实现：

from sklearn import datasets,linear_model,discriminant_analysis
import numpy as np
import matplotlib.pyplot as plt

def load_data():
    diabetes=datasets.load_diabetes()#导入数据
    print (diabetes.data.shape)#数据的大小 返回（442，10）有是个特征
    print (diabetes.target.shape)
    diabetes_X = diabetes.data[:, np.newaxis, 2]#利用numpy-newaxis将数据行和列颠倒一下，取第三行即为第三个特征数据
    print(diabetes_X.shape)#返回（442，1）
    diabetes_X_train=diabetes_X[:-20]#取422个样本作为训练样本
    diabetes_X_test=diabetes_X[-20:]#后20个作为测试样本
    diabetes_y_train=diabetes.target[:-20]#同理
    diabetes_y_test=diabetes.target[-20:]
    return diabetes_X_train,diabetes_y_train,diabetes_X_test,diabetes_y_test
    #返回值为：训练样本特征x，和训练样本目标y，测试样本特征x，测试样本目标

def test_LinearRegrssion(*data):
    data = load_data()
    regr = linear_model.LinearRegression()
    regr.fit(data[0],data[1])#利用训练样本进行魔性训练
    plt.scatter(data[2], data[3], c='red')#将测试样本及画出来
    plt.plot(data[2], regr.predict(data[2]), color='blue', linewidth=2)
    print('Coefficients:%s,intercept %.2f' % (regr.coef_, regr.intercept_))
    print("Residual sum of square:%.2f" % np.mean((regr.predict(data[2]) - data[3]) ** 2))#均方误差
    print('Score:%.2f' % regr.score(data[2], data[3]))#得分，值越接近1，效果越好，也可为负数，训练效果很差的情况下
    plt.grid()
    plt.show()
test_LinearRegrssion()

结果如下：


coefficient为系数，interception为截距
均方误差为：5472.26
得分：-0.13 说明性效果很差

线性回归模型LinearRegression参数说明：

fit(X,Y)：训练模型，X为训练数据的特征，Y为训练数据特征目标值
predict（X）：用模型进行预测，返回预测值
score（X，Y）：X为测试样本特征，Y为测试样本特征目标值
score不超过1，越接近1效果越好
score为负数，则说明训练效果太差

二丶多元线性回归

还是利用刚才的糖尿病病人数据集，刚才我们只选取了样本的其中一个特征，而该数据集特征有10个，我们用10个特征进行预测，该问题称为多元线性回归。

python代码：

from sklearn import datasets,linear_model,discriminant_analysis
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

#加载数据
def load_data():
    diabetes=datasets.load_diabetes()
    return train_test_split(diabetes.data,diabetes.target,test_size=0.25,random_state=0)

#定义线性回归模型
def test_LinearRegrssion(*data):
    x_train,x_test,y_train,y_test=data
    regr = linear_model.LinearRegression()
    regr.fit(x_train,y_train)#训练数据
    print('Coefficients:%s,intercept %.2f' % (regr.coef_, regr.intercept_))#权重向量即为每个特征的相关系数
    print("Residual sum of square:%.2f" % np.mean((regr.predict(x_test) - y_test) ** 2))#均方误差，每个特征的（预测值-真实值的平方）的平均值
    print('Score:%.2f' % regr.score(x_test, y_test))#得分
x_train,x_test,y_train,y_test=load_data()
test_LinearRegrssion(x_train,x_test,y_train,y_test)

结果如下：