机器学习——初识线性回归(Excel-Python实现)

一、前言

本篇博客内容主要围绕线性回归进行练习。分别通过Excel和jupyter notebook对大量身高和体重数据进行分析，判断身高和体重之间是否具有线性相关性。
数据下载链接（百度网盘）：https://pan.baidu.com/s/17_YQVxPYaC69UfWVnmALOw
提取码：1111

Excel实现数据线性分析

添加数据分析工具

一般Excel家庭版不会直接带有数据分析功能，需要进行添加。如果Excel的数据选项栏中本身就有数据分析可以直接跳过此步骤。如果没有，按照以下步骤进行添加即可。

打开从上文百度网盘中下载的Excel 文件，启用编辑。按照以下步骤添加数据分析工具。
1、文件——更多——选项

2、加载项

3、勾选分析工具库和分析工具库—VBA，后点击确定

最后点击确定，在数据栏中找到数据分析说明添加成功。

使用Excel的数据分析进行回归分析

1、点击数据分析，在弹出窗口中选择“回归”并确认。

确认后弹出新窗口如下：

2、Excel回归分析参数设置
（1）选定数据来源范围
可以通过Y值输入区域文本框直接编辑数据输入的范围，也可以点击文本框之后向上的箭头符号框选Excel表格中的某个范围。并进行输入参数设置时需要将Y和X的输入区域都确定好。先选定20组数据作为数据输入。

（2）使用步骤（1）中的方法选中分析结果的输出区域

（3）残差项中选择较为直观的线性拟合图

（4）点击确认后，得到输出的图表如下：

（5）双击横坐标或纵坐标轴，设置坐标轴格式，点击坐标轴选项，设置最大最小值，间隔单位。
X轴设置：
Y轴设置：

修改后图表显示如下：

（6）双击图表中蓝色点（原始数据），选中后鼠标右击，选中添加线性趋势线。

（7）在设置线性趋势线格式弹窗中对趋势线进行设置。勾线线性。趋势线名称为：身高与体重关系。勾选显示公式和显示R平方值。

回归分析结果如下

（9）点击选择数据，再点击弹窗中的编辑对分析的数据范围进行修改，使之选中200组数据。修改如下，并点击确认。

对200组数据进行回归分析结果如下：

对2000组数据分析结果如下：

对20000组数据分析如下：

使用jupyter编程，用最小二乘法重做上述回归分析

程序编写前准备

由于本人所写博客没有讲解jupyter编写程序的方法，在此将会介绍使用jupyter编程的简要步骤，如已掌握此部分内容可以自行跳过。
1、启动jupyter notebook：可以点击下图中Jupyter Notebook(Anaconda3)，再稍作等待即可启动。也可以点击Anaconda Prompt输入指令：jupyter notebook，稍作等待即可启动。

指令启动：

启动后如图所示：

这里我只有一个文件夹，如果你初次打开的此页面有很多文件夹，且让你不爽的话可以参照：upyter notebook 打开后文件太多太乱，如何整理打开后的页面，也就是打开指定的文件夹！
2、创建ipynb文件：点击页面中的new，选择一个虚拟环境，即可创建一个ipynb文件。

在新创建的ipynb文件中可以点击File中的Rename进行ipynb文件名更改这里我将文件名更改为:wz_homework2


3、在图中红色选中区域即可开始编程

最小二乘法回归分析程序编写

最小二乘法介绍：
设拟合直线的公式为：
其中：拟合直线的斜率为：

计算出斜率后，根据和已经确定的斜率k，利用待定系数法求出截距b。
1、20组数据回归分析代码：

import pandas as pd
import numpy as np
import math
#准备数据
p=pd.read_excel('D:\\个人\作业\\python机器学习\\第二次作业：初识线性回归(Excel-Python实现)\\weights_heights(身高-体重数据集).xls','weights_heights')
#读取20行数据
p1=p.head(20)
x=p1["Height"]
y=p1["Weight"]
# 平均值
x_mean = np.mean(x)
y_mean = np.mean(y)
#x（或y）列的总数（即n）
xsize = x.size
zi=((x-x_mean)*(y-y_mean)).sum()
mu=((x-x_mean)*(x-x_mean)).sum()
n=((y-y_mean)*(y-y_mean)).sum()
# 参数a b
a = zi / mu
b = y_mean - a * x_mean
#相关系数R的平方
m=((zi/math.sqrt(mu*n))**2)
# 这里对参数保留4位有效数字
a = np.around(a,decimals=4)
b = np.around(b,decimals=4)
m = np.around(m,decimals=4)
print(f'回归线方程:y = {a}x +({b})') 
print(f'相关回归系数为{m}')
#借助第三方库skleran画出拟合曲线
y1 = a*x + b
plt.scatter(x,y)
plt.plot(x,y1,c='r')

回归分析结果：

2、200组数据回归分析：修改此处为200

修改后：

200组回归分析结果

3、20000组回归分析结果：

使用jupyter编程，借助skleran，重做上述回归分析

1、20组数据
代码：

# 导入所需的模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

p=pd.read_excel('D:\\个人\作业\\python机器学习\\第二次作业：初识线性回归(Excel-Python实现)\\weights_heights(身高-体重数据集).xls','weights_heights')
#读取数据行数
p1=p.head(20)
x=p1["Height"]
y=p1["Weight"]
# 数据处理
# sklearn 拟合输入输出一般都是二维数组，这里将一维转换为二维。
y = np.array(y).reshape(-1, 1)
x = np.array(x).reshape(-1, 1)
# 拟合
reg = LinearRegression()
reg.fit(x,y)
a = reg.coef_[0][0]     # 系数
b = reg.intercept_[0]   # 截距
print('拟合的方程为：Y = %.4fX + (%.4f)' % (a, b))
c=reg.score(x,y)    # 相关系数
print(f'相关回归系数为%.4f'%c)
# 可视化
prediction = reg.predict(y)                # 根据高度，按照拟合的曲线预测温度值
plt.xlabel('身高')
plt.ylabel('体重')
plt.scatter(x,y)
y1 = a*x + b
plt.plot(x,y1,c='r')

输出结果：

2、200组数据
代码：

# 导入所需的模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

p=pd.read_excel('D:\\个人\作业\\python机器学习\\第二次作业：初识线性回归(Excel-Python实现)\\weights_heights(身高-体重数据集).xls','weights_heights')
#读取数据行数
p1=p.head(200)
x=p1["Height"]
y=p1["Weight"]
# 数据处理
# sklearn 拟合输入输出一般都是二维数组，这里将一维转换为二维。
y = np.array(y).reshape(-1, 1)
x = np.array(x).reshape(-1, 1)
# 拟合
reg = LinearRegression()
reg.fit(x,y)
a = reg.coef_[0][0]     # 系数
b = reg.intercept_[0]   # 截距
print('拟合的方程为：Y = %.4fX + (%.4f)' % (a, b))
c=reg.score(x,y)    # 相关系数
print(f'相关回归系数为%.4f'%c)
# 可视化
prediction = reg.predict(y)                # 根据高度，按照拟合的曲线预测温度值
plt.xlabel('身高')
plt.ylabel('体重')
plt.scatter(x,y)
y1 = a*x + b
plt.plot(x,y1,c='r')

输出结果：

3、20000组数据
代码：

# 导入所需的模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

p=pd.read_excel('D:\\个人\作业\\python机器学习\\第二次作业：初识线性回归(Excel-Python实现)\\weights_heights(身高-体重数据集).xls','weights_heights')
#读取数据行数
p1=p.head(20000)
x=p1["Height"]
y=p1["Weight"]
# 数据处理
# sklearn 拟合输入输出一般都是二维数组，这里将一维转换为二维。
y = np.array(y).reshape(-1, 1)
x = np.array(x).reshape(-1, 1)
# 拟合
reg = LinearRegression()
reg.fit(x,y)
a = reg.coef_[0][0]     # 系数
b = reg.intercept_[0]   # 截距
print('拟合的方程为：Y = %.4fX + (%.4f)' % (a, b))
c=reg.score(x,y)    # 相关系数
print(f'相关回归系数为%.4f'%c)
# 可视化
prediction = reg.predict(y)                # 根据高度，按照拟合的曲线预测温度值
plt.xlabel('身高')
plt.ylabel('体重')
plt.scatter(x,y)
y1 = a*x + b
plt.plot(x,y1,c='r')

输出结果：

总结

本文通过Excel，python编写最小二乘法和python引用sklearn三种方法对人的身高和体重进行线性分析。最终得到的结果可以说明身高与体重之间相关性较高。通过三种不同的方法对大量数据进行线性回归分析，使我在过程中对其有了更加省的理解。同时对python和jupyter notebook的掌握更加熟练。期待掌握更多相关知识

参考

Excel和jupyter实现数据的线性回归

初识线性回归