软测量---论文阅读（一）DBN

Online Adaptive Modeling Framework for Deep Belief Network- Based Quality Prediction in In Industrial Processes

动机

为了提高基于深度学习的软传感器的预测精度，大多数研究人员主要关注网络设计，以帮助他们从过程数据中提取更好的特征。对于这些模型，它们通常是先离线训练，然后在线应用于质量预测的全局模型。然而，他们通常很难在整个工业过程中始终保持有效的在线预测性能。这主要是因为在==

1. 实际过程中，操作条件经常变化，从而导致时变问题。造成过程时变问题的原因很多，如设备老化、催化剂失活等。因此，离线训练的模型不能保证预测性能的稳定性。
2. 此外，时变问题很容易导致深网络的性能下降。如何避免模型性能下降是现有基于深度学习的软测量模型面临的一大挑战。为了保持深度网络的预测精度，应使用大量数据样本动态地对其进行重新训练和更新。
3. 事实上，使用大量历史数据，通过预训练和微调程序重新训练深层网络是耗时且计算成本高昂的。因此，有必要对深层网络进行自适应建模，以加快模型更新过程。

模型背景

1. 受限玻尔兹曼机RBM

可观测层、隐藏层。同一层节点之间没有连接。与两层全连接神经网络结构相同。

能量函数：

高斯-高斯RBM：

状态（v,h）的联合概率密度：

变量v的边际概率：

训练RBM参数，就是最大化训练数据集上概率分布的对数似然

用梯度上升法：

方程第二项的计算涉及v和h的联合分布，很难直接计算。
通常，对比度发散（CD）采样算法the contrast divergence (CD) sampling algorithm可用于有效计算上述梯度的近似值。

2.深度信念网络DBN

自适应在线DBN

1.Offline Modeling: Pre-Training and Offline Fine-Tuning

传统的DBN训练方式

2.Online Adaptive Fine-Tuning

计算欧式距离，选择前k个最近样本，重新微调网络，得到预测模型。
效率方面，原文说迭代几次就可以，效率不算慢

两个工业案例

青霉素这个案例
仿真生成了三种不同工况，然后分别提取了一部分拼接在一起


OAFDBN在不同批次、不同操作条件下表现良好。

结论

与RBFN、LWPLS和DBN模型相比，OAFDBN具有更精确的预测性能。尽管OAFDBN可以为深度学习网络提供在线自适应策略，但它仍然存在一些局限性。例如，通常使用的距离可能不足以从类似条件中选择最相关的样本。此外，由于输入与当前查询输入相似的历史样本可能不是指示过程工作条件的合适标准，因此，所提出的策略很难处理时变过程中具有漂移的数据。未来的工作将进行自适应深度学习，以应对这些限制。