软测量---论文阅读（三）PIST -CVAE

Parallel Interaction Spatiotemporal Constrained Variational Autoencoder for Soft Sensor Modeling

摘要

二十多年来，数据驱动软传感器广泛应用于工业过程中。由于复杂的物理和化学机制、反馈控制和动态噪声，工业过程往往表现出非线性和时变行为。最近，变分自动编码器（VAE）已成为无监督学习复杂分布的最流行方法之一。尽管在深度特征提取和不确定数据建模方面取得了成功，但由于原始输入空间的潜在子空间表示中的随机采样，它仍然存在不稳定性和重构误差。

为了克服这些局限性，本文利用输入样本信息提出了约束VAE（constrained VAE）。受目标识别中人脑腹侧流和背侧流并行交互机制的启发==（Enthused by parallel interaction mechanism between the ventral and dorsal stream of the human brain in object recognition）==，提出了并行交互时空CVAE（PIST-CVAE），用于从输入样本中提取时空特征。从PIST-CVAE中提取的低维非线性特征用于构建软传感器。CVAE和PIST-CVAE的有效性在聚酯聚合工艺的工业案例研究中得到了证明。所得结果表明，CVAE能够以更高的精度重建输入，并且基于PIST-CVAE的软传感器能够更准确地估计聚合过程的熔体粘度指数。

动机

1、变分自动编码器（VAE）是最近开发的深度非线性生成模型，为深度特征提取和不确定数据建模提供了概率框架。VAE的一个重要限制是，当从输入样本的潜在子空间表示进行采样时，高斯白噪声的注入会引起不稳定性。
为了解决这个问题，本文提出了一种约束VAE（CVAE）。所提出的CVAE编码器包含两个额外的神经网络，用于学习输入变量的最大值和最小值向量，从而约束随机高斯白噪声，提高常规VAE的稳定性。
2、VAE的另一个缺点是，通常使用编码器和解码器形式从输入样本中提取静态特征。事实上，由于过程反应动力学、反馈控制的实施、相关噪声、动态干扰等原因，大多数工业过程都是自然动态的。相邻样本之间存在强烈的时间依赖性。同时，对于工业过程，由于过程的物理化学性质不同，二次过程变量往往对质量变量有不同的影响。此外，由于物理传感器的空间位置不同，变量存在时间延迟，导致数据特征匹配不准确[15]。在现有的软测量中，这些工业数据问题没有得到很好的解决，这可能会极大地影响质量变量预测的准确性。因此，本文引入卷积神经网络（CNN）来考虑输入变量之间的关系。（感觉这是很一般的方法。。）此外，使用归一化互信息（NMI）[17]计算相关系数，近似输出变量和每个输入变量之间的非线性程度。使用计算的相关系数对输入变量进行加权。

创新点

1） 为了提高常规VAE的稳定性和重建能力，提出了一种CVAE。结果，CVAE以更高的精度重构输入，提取代表原始输入变量的非线性潜在特征。

2） 基于CVAE的并行交互机制，能够提取空间和时间特征图

3） 标签信息通过与输出变量的相关性对输入变量进行加权，集成到模型中。该策略进一步提高了软传感器的外推能力。

PIST-CVAE

1. VAE

2. CVAE

每个潜在样本的ε值限制在当前输入样本的范围内
其中xmin最小值和xmax是由神经网络组成的两个附加层的输出，用于学习输入变量的最大值和最小值的向量。在图4中，仅对第i个输入样本显示了约束抽样，而对给定训练数据集中的其余输入样本则完全重复了约束抽样???。

3. PIST Mechanism

人脑的视觉感知具有腹侧流和背侧流。腹侧流参与物体的识别和识别。背流参与处理物体相对于观看者的空间位置，并在腹流的物体识别活动中起辅助作用。因此，两个流之间存在信息交互[16]。Yu等人[16]证明了并行交互机制有助于从图像中提取有用的特征。PIST-CV AE的工作机理解释如下：

1. 作为预处理步骤，使用NMI计算每个输入变量和输出变量之间的非线性相关性。通过估计输入变量对输出变量的影响，分别对输入变量进行加权。
2. 加权输入变量被发送到第一卷积层（Conv1）和第一LSTM层（LSTM1），以分别提取空间和时间特征。提取的空间特征与合并层中的时间特征相互作用，即空间特征与融合层中的时态特征相连接。
3. 第二个LSTM层（LSTM2）和Conv2层从拼接的特征中提取动态特征。Conv2和LSTM2的输出融合，通过LSTM3。并行交互对经过线性层的时间特征进行编码，以生成平均向量和标准偏差向量。如前一小节所述，约束随机抽样生成潜在样本，并行交互解码器重建原始输入样本。
4. 来自并行交互编码器的潜在变量被发送到回归层以完成最终预测。回归层是基于一个完连接浅层神经网络构建的。y表示回归层的输出，
   
   LKL、Lrec和Lreg分别表示KL散度、重建和回归的损失

实验：聚合工艺

没有分享数据集。。。

结论

MVI是聚酯聚合过程中最终产品的重要质量指标，需要持续监控。由于硬件传感器的高成本和可靠性问题，使用软传感器实时估计MVI。为了在线预测MVI，本文提出了一种结合VAE、LSTM和CNN的新型软测量框架，称为PIST-CVAE。制定PIST-CVAE的第一步是通过约束随机抽样克服VAE的局限性（不稳定性和重建误差）。
引入并行交互机制，同时提取和合并过程数据的时空特征。所进行的实验表明，所提出的PIST-CVAE模型具有优越的预测性能。

尽管基于PIST-CVAE的软传感器显示出优越的预测精度，但它仍然存在较高的计算复杂度。在这方面，我们未来的研究工作将致力于降低计算复杂性，同时确保预测性能。