数理统计——线性回归与python实现

前言

本节知识点：学习线性回归模型，实现连续变量类型的预测。
1、掌握线性回归的原理；
2、能够实用线性回归进行预测；
3、能够对线性回归模型进行预测；

一、重要概念

1.模型

2.回归分析

3.简单线性回归

4.拟合

5.多元线性回归

6.损失函数

用来衡量误差，检验预测值与真实值之间的差异，也叫目标函数或代价函数；

7.参数求解

二、一元线性回归模型代码实现

1.简单线性回归程序

以鸢尾花数据集中花瓣长度和宽度为例，通过程序实现线性回归模型；

import numpy as np 
#线性回归需要的类；
from sklearn.linear_model import LinearRegression
#用来切分训练集和测试集
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
#设置输出的精度，默认为8.
np.set_printoptions(precision=2)
iris=load_iris()
#获取花瓣长度作为x，花瓣宽度作为y
X,y=iris.data[:,2].reshape(-1,1),iris.data[:,3]
lr=LinearRegression()
#将数据集分为训练集和测试集
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=0)#test_size：表示测试集大小；random_state表示随机种子用来产生相同的随机数序列。

lr.fit(X_train,y_train)
print("权重：",lr.coef_)
print("截距：",lr.intercept_)
#从训练集中学习到了模型的参数（w与b），确定方程，就可以进行预测；
y_hat=lr.predict(X_test)
print("实际值：",y_test[:5])
print("预测值：",y_hat[:5])

输出：
权重： [0.42]
截距： -0.37058412021766785
实际值： [2.4 1.  0.2 1.8 0.2]
预测值： [1.77 1.31 0.22 2.27 0.26]

可视化

import matplotlib.pyplot as plt
plt.rcParams["font.family"]="SimHei"
plt.rcParams["axes.unicode_minus"]=False
plt.rcParams["font.size"]=15 
plt.figure(figsize