Dynamic Time Features Expanding and Extracting Method for Prediction Model of Sintering Process Qual

烧结过程质量指标预测模型的动态时间特征扩展和提取方法

李玉轩、杨春杰、高级员、Ieee、孙有贤

摘要：在复杂的工业过程中，在线测量关键质量变量是很困难的。通过离线测试获取质量变量需要很长时间，这使得难以及时获得信息来指导生产过程。因此，本文提出了一种用于烧结矿质量预测的新型动态时间特征扩展和提取框架。首先利用时间特性对原始数据进行微分、补偿时延、扩展、序列化，重构输入时间序列。其次，集成时间特征提取器用于获取过程信息。然后，应用递归神经网络回归来获得关键质量变量的预测。最后通过数值算例、烧结过程实际数据以及各种对比实验验证了所提方法的有效性，提高了烧结过程中FeO含量的预测效果。

索引术语——动态特征扩展和提取、FeO含量预测、门控循环单元（GRU）、光梯度增强机（LightGBM）、时间延迟、时间差。

一、引言

钢铁工业是国民经济发展和国家基础设施建设的重要基础产业。铁基材料仍然是国民经济发展中应用最广泛、最重要的功能材料。一个国家的钢铁产量水平已成为反映和标志一个国家工业化程度的主要指标。铁矿石烧结是现代钢铁冶炼的第一道工序和第二道能耗工序，是钢铁生产实现优质、高产、低耗的基础。但烧结系统存在诸多问题，如结构复杂等。原材料状况和操作状况波动较大。另外，烧结质量指标不能在线计算或测试，而是通过测试获得。测试结果只能在几个小时内反馈给操作员，这导致操作依赖于人工经验。这将使烧结过程长期处于排放高、效率低、产品质量波动大的不利局面。因此，有必要研究烧结矿质量的预测方法。建立高性能烧结矿质量预测模型可以及时提供关键信息，对于改善和稳定烧结矿质量、提高钢材质量具有重要意义。

在烧结过程中，建立了一些专家系统和数学模型。专家系统往往基于过去的经验和知识，需要随时更新和迭代。在现代工业中，专家系统的准确性往往难以满足需求[1]。一些基于物理原理的数学模型，由于实际工业的复杂性，往往采用简化模型进行建模，如一维或二维模拟，并且由于一些结构参数需要破坏性测试，很难满足实际预测条件[2]。

由于工业过程的复杂特征，准确建立机理模型存在困难。因此，基于数据和知识的模型很受欢迎[3]。在时间序列分析领域，有多种基于数理统计的方法，如自回归移动平均模型、自回归积分移动平均模型等[4]。此外，关于最小二乘模型的研究也有多种类型[5]。但由于工业过程波动大、非平稳、非线性强的特点，上述模型一般需要严格的假设，在工业中预测效果有限。由于这些特点，一些高斯混合模型和贝叶斯模型被提出来解决这些问题[6]。一些研究工作集中在变分贝叶斯模型[7]上，并提出应用变分自动编码器。高斯混合模型和贝叶斯方法需要根据专家知识和结构学习来确定超参数或模型结构，这些参数结构的准确性会影响预测性能。支持向量机（SVM）也被应用在预测模型中[8]。然而，计算成本为SVM方法对于大量数据的要求较高，模型效果取决于关键参数和核函数的选择。

因此，近年来，由于神经网络对非线性函数良好的拟合能力和权重参数自学习能力，神经网络在机器学习中得到了广泛的应用。多种神经网络被提出并应用于研究，如反向传播神经网络[9]、[10]、径向基函数神经网络、Elman神经网络等[11]、[12]。然而，由于过去计算能力的限制，这些神经网络是浅层的。现在随着数据越来越多，计算机的计算量和计算能力都得到了很大的提高，深度神经网络受到了很多关注。然而，浅层神经网络没有考虑时间依赖性。近年来，以循环神经网络（RNN）为代表的一类神经网络在处理序列数据方面非常流行[13]。从原始的 RNN 到具有长短期记忆 (LSTM) [14] 和门控循环单元 (GRU) 变体的 RNN [15]-[17]。这些方法的优点是解决了信息传输的长期依赖性。最新的注意力机制方法被提出，可以将模型传输的焦点放在关键位置[18]。然而，这些网络主要解决时间序列长度的问题。

在实际工业过程中，数据处理存在很多问题。生成对抗网络方法被提出来处理数据丢失问题。此外，由于工艺因素，每个变量并不对应相同的原材料，这导致了时间延迟的问题。研究方法包括相关系数（CC）、最大信息系数（MIC）和模糊分析。但缺乏考虑时间因素的综合模型，既考虑时间序列问题，又优化时滞，还兼顾特征提取。本文将其放入一个统一的框架中，比较每种方法的优缺点，并将其堆叠起来以获得更好的结果。为了处理非线性时间序列工业数据，使用带有 LSTM 单元的 RNN 循环神经网络。时间延迟的处理是通过引入注意力机制来处理的。

本文的主要贡献如下。

1）提出了一种新的时间特征提取方法，该方法考虑了时间延迟、时间差、扩展和序列化。

2）提取的时间特征，经过嵌入和过滤，由GRUNN进行训练。尽管时间序列回归器，一种新颖的烧结矿质量动态时间特征扩展和提取预测模型（DTFEE）已经发展良好。

3）所提出的模型结合工艺特点并进行了相应的调整，并在实际铁矿石烧结过程中进行了应用和论证，对FeO预测效果良好。

本文的其余部分组织如下。在第二节中，分析了烧结过程的特征和质量变量。本文提出的方法和模型在第三节中介绍。然后，通过第四节中的数值算例和实际生产过程数据对所提出的方法进行了验证。最后，第五节总结了本文。

二. 1 烧结过程描述与分析

A. 烧结过程描述

烧结过程如图 1 所示。烧结矿在送入高炉之前，有以下几个过程。首先是原料仓、配料、输送系统。烧结生产的原料有很多种。主要有不同的熔剂、粉末、原料十余种。根据原料成分、烧结矿质量要求、高炉炼铁质量要求，将原料进行适当配比，然后输送到皮带上的混合机中。然后用烧结混合机将各组分充分混合，得到化学成分均匀稳定的混合物。同时添加水以获得良好的粒径和必要的料温以提高透气性。接下来进入带式烧结机，包括分配器、点火器、烧结机、波纹管、排气除尘设备等。最后经过带式烧结机烧结后，经破碎、筛分、冷却即可得到烧结产品。当获得成品后，烧结矿可送至炼铁厂作为高炉炼铁的原料。

B、烧结矿质量描述

工艺复杂的烧结矿不能直接送高炉作为炼铁原料。烧结矿作为高炉炼铁的主要原料，需要严格的质量控制。烧结矿质量可分为物理指标和化学指标。物理指标主要是烧结矿粒度和滚筒强度，化学指标主要是主要成分的质量百分比，如FeO、全铁含量、CaO、SiO2。 FeO含量越高，烧结矿的还原性越差，影响高炉炼铁过程。 FeO含量过低，会降低烧结矿的强度。因此，必须保持适宜且稳定的FeO含量。

C. 特性分析

1) 多时延：烧结过程是典型的流程工业。从开始下料到烧结结束大约需要两个小时。因此，在整个过程中，每个过程变量的测量都有不同的时间延迟。而且，烧结矿的质量指标取决于人工测试，大约需要两个小时。所以一旦出现问题再调整生产工艺就来不及了。我们希望建立一个多时滞的预测模型，可以在线预测烧结矿质量，为生产提供实时指导。

2）非线性：由于烧结过程中发生复杂的物理化学变化，影响烧结矿质量的因素太多，且不同因素影响质量的程度难以量化，因此烧结过程的机理模型为还是一个未知数。例如，影响烧结矿FeO含量的因素有原料铁含量、燃料含碳量、熔剂成分、烧结风量和负压、料层厚度、机器转速等。多参数具有复杂的非线性耦合关系。

3）缺乏标签：另一个显着问题是实验室数据太少，与过程在线测量相比只有5%左右。例如，在线传感器可以实现十秒的采样间隔，但测试数据往往需要几十分钟，甚至几个小时才能发送样本进行测试，导致标记数据太少，因此应考虑半监督训练方法。

三．方法

烧结过程是一个复杂的工业过程。由于烧结过程是典型的流程工业，分布式控制系统（DCS）同时采集的数据并不对应同一批原材料。因此，利用不同的特征而不进行对齐来建立烧结矿质量预测模型将不可避免地带来预测误差。基于此，我们提出了一种时间扩展的动态特征提取模型。

A. 时延和差异

该模型的构建考虑了可变时延。由于标签数据不连续，考虑时间依赖性的RNN无法获取采样间隔部分的过程动态信息。为了获得更多的过程信息，隐式动态信息为从采样间隔获得，因此需要考虑标签之间的过程变量。然而，由于模型的大小，不可能包含时延范围内的所有信息。

图2中，FeO含量上下波动，不符合宽平稳时间序列的特点。经过一阶差分Δxt=xt−xt−1后，平稳性就体现出来了。更准确地说，我们引入自相关函数（ACF）。对于平稳时间序列，ACF图一般会随着阶数的增加而快速衰减到接近零，而对于非平稳时间序列，ACF图可能会先减小然后增大或周期性波动。如图4所示，随着时间序列阶数的增加，自相关系数并没有快速衰减到0附近，呈现出拖尾效应。因此，可以判断该时间序列不是平稳时间序列。并且通过分析我们可以看出特征是一段时间内的累积值。因此，利用一阶差分来消除非平稳性，以便更好地发现其动态特性。经过一阶差分后，δFeO的ACF如图5所示。在实际过程中，也可以实现一阶差分。预测值的显着性是该时间相对于前一个时间的变化。

B.时间扩展和序列化

为了充分利用无标签数据来构建模型，我们根据时间轴扩展数据得到更多功能。通过将其作为输入特征进行过滤，可以获得过程的动态信息。但由于模型的限制，无法无限制地扩展。因此，应根据时间延迟来限制扩展的程度，以获得最佳的拟合效果。

数据扩展和序列化的方法如图6所示。V1、V2、V3表示过程变量，Q表示质量变量。在t4时刻，qt4质量变量对应的过程变量为v14，v24，v34。然而，由于过程变量和质量变量之间存在时间滞后，常常需要回溯质量变量Q4对应的过程变量V1、V2、V3。我们在图中显示的是V1有3个单位的时滞，V2有2个单位的时滞，V3有1个单位的时滞。所以Q4对应v11,v22,v33。因此，为了准确预测质量变量Q4，将每个过程变量的值从当前时间扩展并序列化到各自的时间滞后，并构造输入序列。

C.梯度Boosting决策树（GBDT）

Boosting树模型可以表示为决策树的加性模型

其中T(x;θm)是决策树，θm是决策树的参数，M是树的数量。 M步模型是

下一个决策树的参数由经验风险最小化确定

使用平方误差损失函数，则变为

将当前模型中损失函数的负梯度值作为残差的近似值

根据本次更新，得到最终的回归树模型。

光梯度提升机（LightGBM）[23]是对GBDT和极限梯度提升机（XGBoost）[24]的改进。在很多方面，xgbm 都会比 lightboost 表现得更好。它具有以下优点：训练效率更快、内存占用低、准确率更高、支持并行学习、可以处理大规模数据。在每次迭代中，GBDT都需要多次遍历整个训练数据。如果将整个训练数据加载到内存中，训练数据的大小将受到限制；如果不加载到内存中，反复读写训练数据会花费大量时间。尤其是面对海量的工业数据，通用的GBDT算法无法满足其需求。

D.循环神经网络

RNN是为了处理序列数据而提出的，即前后数据之间存在相关性。 RNN与单层神经网络最大的区别在于隐含层中节点之间存在循环互信息，隐含层呈现循环连接，而一般神经网络的隐含层则没有连接的。

因此，通过这样的结构，RNN在计算当前信息时会参考之前信息的因素。在不考虑速度和规模因素的情况下，RNN可以包含所有已知信息。但现实中，当梯度消失或梯度爆炸时，RNN 很难传递较远的信息。

由于RNN模型存在的一些问题，许多基于RNN的改进方法被提出，其中LSTM和GRU是两种较好的变形[15]、[16]。为了解决梯度消失或爆炸的问题，在梯度下降算法中，我们希望每层计算的梯度的乘积保持在1附近[25]。目前有效的方式是Gates RNNs系列。通过门的调节，可以自我调节其线性自链接部分的权重，例如LSTM模型。

与经典的全连接神经网络相比，RNN 中的隐含层只是层与层之间的连接更多。 LSTM单元的提出是为了解决RNN在训练长时间序列时梯度消失或梯度爆炸的问题。 LSTM单元由输入门、输出门、遗忘门和记忆单元组成，以改善RNN中隐藏层节点的连接。 GRU在LSTM的基础上简化了LSTM的三个门，只使用了两个门。 LSTM的输入门和遗忘门被组合成更新门，存储单元被简化为隐藏状态。在继承LSTM效果的同时，结构更加简单。 GRU模型中只有两个门，更新门zt和重置门rt，如图7所示。更新门用于控制更新门的程度。将前一时刻的状态信息带入当前状态。更新门的值越大，带入的上一时刻ht−1的状态信息越多。重置门用于控制忽略上一时刻ht−1的状态信息的程度。该值越大复位门的值越大，它就越会被忽略。

E.动态时间特征扩展和提取预测模型

DTFEE的训练步骤是预处理、时间特征提取和时间回归。 DTFEE的流程图如图8所示。

四．案例应用

A. 数值案例

在本文的实验中，预测模型的准确性通过均方误差（MSE）来评估[26]，其中 yi 和 ˆyi 分别是真实值和预测值，n 是测试样品数量

我们构造一个数值例子[方程(11)中的y]，它是非线性的、时滞的、动态的等等。但由于工艺变量太少，且实际工业过程非常复杂，本例不能完全反映烧结过程的特点。数值例子只是用来比较我们的方法和我们的方法的效果。在这个数值例子中，我们的方法具有更快的收敛速度和预测精度

B.数据集简介

用于实验验证的数据集采集自某钢铁集团公司的烧结厂。烧结厂车间有360平方米带式烧结机一台，以及料仓、输送、冷却等设备。从DCS导出两个月的数据。原始数据大约有10万条记录，每条记录有130个变量。

然后，对原始数据进行预处理。如前所述，FeO作为标签数据，采样周期较长，导致记录数量较少，只有600条左右。根据图6，我们对所有变量进行时间扩展，以充分挖掘未标签数据的动态特征。结合时间扩展、时间差、时间序列化，得到600组原始数据。输入变量如表 I 所示。

C.数据预处理

由于数据特征种类繁多，数据的特征也各不相同。它包含进料量等数据，这是一个累积值。为了获得更好的特征提取效果和回归精度，我们对原始数据进行一阶差分处理。处理前后的单位根检验结果如图3所示。经过一阶差分后，变量基本符合平稳序列的特征。

接下来，对每个变量进行0-1 min-max归一化，并将输入缩放到[0, 1]区间。由于初始特征维度有130维，所以我们需要选择特征，即降维。我们使用 CC、MIC、随机森林 [27]、XGBoost、lightGBM 进行特征选择。同样可以进行时间延迟的选择，以获得更好的模型激活效果。然后根据图6进行延时处理，考察不同处理方法的效果。将不同特征选择模型得到的数据作为回归的输入并进行比较。 Spearman CC 的选定变量如图 1 和 2 所示。 10和11.数据预处理后，数据集由630组130维度组成，分为85%训练集（其中 20% 用于交叉验证）和 15% 测试集。

D.结果比较与分析

首先，建立了没有所提出框架的预测模型，如图12所示。由于缺乏动态时间特征信息，FeO含量预测效果较差。

对框架获得的数据集进行预处理后，有效提高了预测的准确性。预测结果如图13所示。结果比较如表2所示。图 14 显示了预测值和实际值的散点图。对比特征提取方法有CC、MIC、lightGBM、随机森林、XGBoost，回归模型有lightGBM、随机森林、XGBoost、RNN、LSTM、GRU。其中，lightGBM、随机森林、XGBoost方法不仅可以用于特征提取，还可以用于回归预测模型。实验结果如表III和图3所示。 15-17。对各种特征提取方法和回归进行组合实验，每次实验平均5次。可以发现，总体来说，回归的效果在GRU中最好，在LSTM中类似，在RNN中较差。公平地说，所有方法的特征维度都是16。特征选择方法CC与几种决策树方法类似，而MIC方法相对较差。

五、结论

在本文中，提出了一种基于时间扩展特征提取的新神经网络框架来预测铁矿石烧结过程中的 FeO 含量。该网络框架能够有效提取动态时间特征，根据时间分布重构长流程工业数据，充分利用无标签数据的动态特征。此外，在线学习策略和动态更新训练集，可以充分适应不断变化的工作条件。

并且验证了该方法能够有效预测实际烧结生产线中FeO含量并提供及时的生产指导。将来，该框架将扩展到预测其他烧结质量参数。预测的质量参数不仅可以指导烧结过程，还可以用于优化烧结配料过程，从而建立烧结自动控制专家系统。