天池数据竞赛 | 工业蒸汽量预测（完整代码分享）

BY：乔木

题目描述

比赛链接：工业蒸汽量预测

赛题背景
火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。 在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。

赛题描述

经脱敏后的锅炉传感器采集的数据（采集频率是分钟级别），根据锅炉的工况，预测产生的蒸汽量。

数据说明
数据分成训练数据（train.txt）和测试数据（test.txt），其中字段 V0-V37，这38个字段是作为特征变量，target作为目标变量。 选手利用训练数据训练出模型，预测测试数据的目标变量，排名结果依据预测结果的 MSE（mean square error）。

结果提交
选手需要提交测试数据的预测结果（txt格式，只有1列预测结果）。

结果评估
预测结果以mean square error作为评判标准。

---

一、导入数据 | 观察数据

导入相关的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style='ticks')

from scipy import stats
from sklearn.decomposition import PCA
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split, GridSearchCV, learning_curve, RepeatedKFold

from sklearn.linear_model import LinearRegression, RidgeCV, LassoCV
from sklearn.svm import SVR
from xgboost import XGBRegressor

import warnings
warnings.filterwarnings('ignore')

导入数据

dtrain = pd.read_csv('zhengqi_train.txt', sep='\t')
dtest = pd.read_csv('zhengqi_test.txt', sep='\t')
dfull = pd.concat([dtrain, dtest], ignore_index=True, sort=False)
print('训练集大小: ', np.shape(dtrain))
print('测试集大小: ', np.shape(dtest))

训练集大小: (2888, 39)
测试集大小: (1925, 38)

观察数据基本分布情况

plt.figure(figsize=(18,8),dpi=100)
dfull.boxplot(sym='r^', patch_artist=True, notch=True)
plt.title('DATA-FULL')

• 数据共有38个特征变量和1目标变量
• 所有特征变量及蒸汽量目标变量均为连续型数据
• 所有数据均分布在0附近，且无量级差异

# 查看数据缺失情况

print('缺失值统计：')
print(dfull.apply(lambda x: sum(x.isnull())))

缺失值统计：
V0 0
V1 0
V2 0
V3 0
V4 0
…
V34 0
V35 0
V36 0
V37 0
target 1925
dtype: int64

无缺失数据

接下来绘制数据相关性热力图，查看数据相关性情况

def heatmap(df):
    plt.figure(figsize=(20,16), dpi=100)
    cols = df.columns.tolist()
    mcorr = df[cols].corr(method = 'spearman')
    cmap = sns.diverging_palette(220, 10, as_cmap=True)
    mask = np.zeros_like(mcorr, dtype = np.bool)
    mask[np.triu_indices_from(mask)] = True              # 角分线右侧为True
    g = sns.heatmap(mcorr, mask=mask, cmap=cmap, square=True, annot=True, fmt='0.2f')
    plt.xticks(rotation=45)
    return mcorr
    
dtrain_mcorr = heatmap(dtrain)

热力图中发现，特征之间存在多重共线性，针对这一问题处理方法有以下三种：

• 主成分分析（PCA）：通常情况下可能导致模型精度降低
• 正则化：许多较为成熟模型中都带有正则项，同时能够防止模型过拟合
• 逐步回归法：较为繁琐，不建议

在此次比赛中，尝试使用主成分分析，结果发现预测结果并不是太理想，最佳线上成绩为0.1306，因此在此文中未使用PCA方案，仅通过模型调参使用正则化方法消除共线性，不过当对于大量特征无从下手时，PCA也是值得一试的方法

---

二、特征工程

特征工程往往是影响预测结果好坏的关键所在，在此项目中我主要对数据进行了以下处理：

• 剔除训练集与测试集分布不均匀的特征变量
• 查看特征与目标变量相关系数，剔除相关系数低于0.1的无关变量
• 查看特征分布偏态系数，将部分明显左偏/右偏的特征数据进行正态化
• 对剩余特征数据进行标准化

另外对更多特征处理方法感兴趣的同学可用参考：工业蒸汽量预测 | 天池论坛

---

创建特征剔除函数，方便对数据进行统一处理

# 删除dfull表中指定的列
def drop_var(var_lst):
    dfull.drop(var_lst, axis=1, inplace=True)
 
# 将dfull重新分割为dtrain核dtest   
def split_dfull():
    dtrain = dfull[dfull['target'].notnull()]
    dtest = dfull[dfull['target'].isnull()]
    dtest.drop('target', axis=1, inplace=True)
    return dtrain, dtest

1. 剔除训练集与测试集分布不均匀的特征变量

针对38个特征变量画训练数据和测试数据特征分布直方图

plt.figure(figsize=(20,50),dpi=100)
for i in range(38):
    plt.subplot(10,4,i+1)
    sns.distplot(dtrain.iloc[:,i], color='green')
    sns.distplot(dtest.iloc[:,i], color='red')
    plt.legend(['Train','Test'])
plt.tight_layout()

从各特征数据分布直方图发现：
V5、V9、V11、V17、V20、V21、V22、V27、V28 特征训练集和测试集分布差异过大
因此为了减小数据分布不均对预测结果的影响，应将上述特征进行剔除

drop_var(['V5','V9','V11','V17','V20','V21','V22','V27','V28'])
dtrain, dtest = split_dfull()

2. 查看各特征与结果变量的相关性，以及是否服从正态分布

利用sns.regplot查看特征与目标变量间的线性关系强弱；
利用sns.distplot查看每个特征分布情况，并进行正态拟合。

plt.figure(figsize=(20,60),dpi=80)
i = 0
for col in dtrain.columns:
    i += 1
    plt.subplot(15,4,i)
    sns.regplot(col, 'target', data = dtrain,
               scatter_kws = {
   'marker': '.', 's': 5, 'alpha': .6},
               line_kws = {
   'color'