1. 获取数据,定义问题
\qquad
数据的介绍在这: http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant
\qquad
数据的下载地址在这:http://archive.ics.uci.edu/ml/machine-learning-databases/00294/
\qquad 里面是一个循环发电场的数据,共有9568个样本数据,每个数据有5列,分别是:AT(温度), V(压力), AP(湿度), RH(压强), PE(输出电力)。
\qquad
我们的问题是得到一个线性的关系,对应PE是样本输出,而AT/V/AP/RH这4个是样本特征, 机器学习的目的就是得到一个线性回归模型,即:
P
E
=
θ
0
+
θ
1
∗
A
T
+
θ
2
∗
V
+
θ
3
∗
A
P
+
θ
4
∗
R
H
PE = \theta_0 + \theta_1 * AT + \theta_2 * V + \theta_3 * AP + \theta_4 * RH
PE=θ0+θ1∗AT+θ2∗V+θ3∗AP+θ4∗RH
\qquad 而需要学习的,就是 θ 0 , θ 1 , θ 2 , θ 3 , θ 4 \theta_0,\theta_1,\theta_2,\theta_3,\theta_4 θ0,θ1,θ2,θ3,θ4这5个参数
2. 整理数据
\qquad 下载后的数据可以发现是一个压缩文件,解压后可以看到里面有一个xlsx文件,我们先用excel把它打开,接着另存为csv格式,保存下来,后面我们就用这个csv来运行线性回归。
\qquad 打开这个csv可以发现数据已经整理好,没有非法数据,因此不需要做预处理。但是这些数据并没有归一化,也就是转化为均值0,方差1的格式。也不用我们搞,后面sklearn在线性回归时会先帮我们把归一化搞定。
3. 用pandas来读取数据
\qquad 用pandas读取数据:
import pandas as pd
data = pd.read_csv('Folds5x2_pp.csv')
print(data.head()) # 默认读取前5行数据
"""
AT V AP RH PE
0 8.34 40.77 1010.84 90.01 480.48
1 23.64 58.49 1011.40 74.20 445.75
2 29.74 56.90 1007.15 41.91 438.76
3 19.07 49.69 1007.22 76.79 453.09
4 11.80 40.66 1017.13 97.20 464.43
"""
4. 准备运行算法的数据
\qquad 查看数据维度,开始准备样本特征X,我们用AT, V,AP和RH这4个列作为样本特征,准备样本输出y, 我们用PE作为样本输出。
print(data.shape) # (9568, 5)
X = data[['AT', 'V', 'AP', 'RH']]
print(X.head())
"""
AT V AP RH
0 8.34 40.77 1010.84 90.01
1 23.64 58.49 1011.40 74.20
2 29.74 56.90 1007.15 41.91
3 19.07 49.69 1007.22 76.79
4 11.80 40.66 1017.13 97.20
"""
y = data[['PE']]
print(y.head())
"""
PE
0 480.48
1 445.75
2 438.76
3 453.09
4 464.43
"""
5. 划分训练集和测试集
\qquad 我们把X和y的样本组合划分成两部分,一部分是训练集,一部分是测试集,代码如下:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
print("Train Data X Shape %s, y Shape %s" % (X_train.shape, y_train.shape))
print("Test Data X Shape %s, y Shape %s" % (X_test.shape, y_test.shape))
"""
Train Data X Shape (7176, 4), y Shape (7176, 1)
Test Data X Shape (2392, 4), y Shape (2392, 1)
"""
\qquad 可以看到75%的样本数据被作为训练集,25%的样本被作为测试集。
6. 运行scikit-learn的线性模型
\qquad 使用scikit-learn的线性模型来拟合。sklearn的线性回归算法使用的是最小二乘法来实现的。代码如下:
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_train, y_train)
# 查看模拟线的截距和权重系数
print(model.intercept_) # [447.06297099]
print(model.coef_) # [[-1.97376045 -0.23229086 0.0693515 -0.15806957]]
\qquad
这样我们就得到了在步骤1里面需要求得的5个值。也就是说PE和其他4个变量的关系如下:
P
E
=
447.06297099
−
1.97376045
∗
A
T
−
0.23229086
∗
V
+
0.0693515
∗
A
P
−
0.15806957
∗
R
H
PE = 447.06297099 -1.97376045 * AT -0.23229086*V +0.0693515*AP-0.15806957*RH
PE=447.06297099−1.97376045∗AT−0.23229086∗V+0.0693515∗AP−0.15806957∗RH
7. 模型评价
\qquad 评估我们的模型的好坏程度,对于线性回归来说,我们一般用均方差(Mean Squared Error, MSE)或者均方根差(Root Mean Squared Error, RMSE)在测试集上的表现来评价模型的好坏。
import numpy as np
from sklearn import metrics
# 模型拟合测试集
y_pred = model.predict(X_test)
# 计算MSE MSE: 20.08040120207389
print("MSE:", metrics.mean_squared_error(y_test, y_pred))
# 计算RMSE RMSE 4.481116066570235
print("RMSE", np.sqrt(metrics.mean_squared_error(y_test, y_pred)))
\qquad 得到了MSE或者RMSE,如果我们用其他方法得到了不同的系数,需要选择模型时,就用MSE小的时候对应的参数
\qquad 比如这次我们用AT, V,AP这3个列作为样本特征。不要RH, 输出仍然是PE。代码如下:
X = data[['AT', 'V', 'AP']]
y = data[['PE']]
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
model.fit(X_train, y_train)
# 模型拟合测试集
y_pred = model.predict(X_test)
# 计算MSE MSE: 23.208907470136243
print("MSE:", metrics.mean_squared_error(y_test, y_pred))
# 计算RMSE RMSE: 4.8175623991948715
print("RMSE:", np.sqrt(metrics.mean_squared_error(y_test, y_pred)))
\qquad 可以看出,去掉RH后,模型拟合的没有加上RH的好,MSE变大了。
8. 交叉验证
\qquad 我们可以通过交叉验证来持续优化模型,代码如下,我们采用10折交叉验证,即cross_val_predict中的cv参数为10:
from sklearn.model_selection import cross_val_predict
X = data[['AT', 'V', 'AP', 'RH']]
y = data[['PE']]
predicted = cross_val_predict(model, X, y, cv=10)
# 计算MSE MSE: 20.7955974619431
print("MSE:", metrics.mean_squared_error(y, predicted))
# 计算RMSE RMSE: 4.560219014690314
print("RMSE:", np.sqrt(metrics.mean_squared_error(y, predicted)))
\qquad 可以看出,采用交叉验证模型的MSE比第6节的大,主要原因是我们这里是对所有折的样本做测试集对应的预测值的MSE,而第6节仅仅对25%的测试集做了MSE。两者的先决条件并不同。
9. 画图观察结果
\qquad 这里画图真实值和预测值的变化关系,离中间的直线y=x直接越近的点代表预测损失越低。代码如下:
import matplotlib.pyplot as plt
# scatter 画点
plt.scatter(y, predicted)
# plot 画线
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'k--', lw=4)
plt.xlabel("Measured")
plt.ylabel("Predicted")
plt.show()
\qquad
输出的图像如下: