天池工业蒸汽量预测

蒸汽量预测

• 背景介绍
  火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。我们如何使用以上的信息，根据锅炉的工况，预测产生的蒸汽量，来为我国的工业届的产量预测贡献自己的一份力量呢？
  所以，该案例是使用以上工业指标的特征，进行蒸汽量的预测问题。由于信息安全等原因，我们使用的是经脱敏后的锅炉传感器采集的数据（采集频率是分钟级别）。
• 数据信息
  数据分成训练数据（train.txt）和测试数据（test.txt），其中字段”V0”-“V37”，这38个字段是作为特征变量，”target”作为目标变量。我们需要利用训练数据训练出模型，预测测试数据的目标变量。
• 评价指标
  最终的评价指标为均方误差MSE

解题思路

• 探索数据分布
  这里因为是传感器的数据，即连续变量，所以使用 kdeplot(核密度估计图) 进行数据的初步分析，即EDA。
  
  
  
  
  
  

从图中可以看出特征"V5",“V9”,“V11”,“V17”,“V22”,"V28"中训练集数据分布和测试集数据分布不均，所以我们删除这些特征数据。
（如果我们需要拿身高去预测体重，训练集采集的全是女生的数据，使用女生的数据训练模型，然后用这个模型去预测男生的体重，这显然是不合理的，所以需要删除一些在训练集和测试集上分布不均匀的特征以提高模型的准确率）

• 查看特征之间的相关性（相关程度）
  定义式
  
  其中，Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差。
  a. 相关系数定量地刻画了 X 和 Y的相关程度，即 $|{\rho }_{XY}|$ 越大，相关程度越大；$|{\rho }_{XY}|$ =0对应相关程度最低；
  b. X 和Y 完全相关的含义是在概率为1的意义下存在线性关系，于是 $|{\rho }_{XY}|$ 是一个可以表征X 和Y 之间线性关系紧密程度的量。当 $|{\rho }_{XY}|$ 较大时，通常说X 和Y相关程度较好；当 $|{\rho }_{XY}|$ 较小时，通常说X和Y相关程度较差；当X和Y不相关，通常认为X和Y之间不存在线性关系，但并不能排除X和Y之间可能存在其他关系。

进行降维操作，即将target与特征之间的相关性的绝对值小于阈值（设为0.1）的特征进行删除。

• 进行归一化操作
  归一化 (Normalization)：主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
  
• 特征工程
  绘图显示Box-Cox变换对数据分布影响，Box-Cox用于连续的响应变量不满足正态分布的情况。在进行Box-Cox变换之后，可以一定程度上减小不可观测的误差和预测变量的相关性。
  Box-Cox变换的一个显著优点是通过求变换参数来确定变换形式，而这个过程完全基于数据本身而无须任何先验信息，这无疑比凭经验或通过尝试而选用对数、平方根等变换方式要客观和精确。
  Box-Cox变换的目的是为了让数据满足线性模型的基本假定，即线性、正态性及方差齐性，然而经Box-Cox变换后数据是否同时满足了以上假定，仍需要考察验证 。
  使用对数变换target目标值提升特征数据的正太性。
  
  
• 模型构建以及集成学习

# function to get training samples
def get_training_data():
    # extract training samples
    from sklearn.model_selection import train_test_split
    df_train = data_all[data_all["oringin"]=="train"]
    df_train["label"]=data_train.target1
    # split SalePrice and features
    y = df_train.target
    X = df_train.drop(["oringin","target","label"],axis=1)
    X_train,X_valid,y_train,y_valid=train_test_split(X,y,test_size=0.3,random_state=100)
    return X_train,X_valid,y_train,y_valid

# extract test data (without SalePrice)
def get_test_data():
    df_test = data_all[data_all["oringin"]=="test"].reset_index(drop=True)
    return df_test.drop(["oringin","target"],axis=1)

• rmse、mse的评价函数

from sklearn.metrics import make_scorer
# metric for evaluation
def rmse(y_true, y_pred):
   diff = y_pred - y_true
   sum_sq = sum(diff**2)    
   n = len(y_pred)   
   return np.sqrt(sum_sq/n)

def mse(y_ture,y_pred):
   return mean_squared_error(y_ture,y_pred)

# scorer to be used in sklearn model fitting
rmse_scorer = make_scorer(rmse, greater_is_better=False) 

#输入的score_func为记分函数时，该值为True（默认值）；输入函数为损失函数时，该值为False
mse_scorer = make_scorer(mse, greater_is_better=False)

• 寻找离群值，并删除
  

• 进行模型的训练、预测以及结果的保存