深度学习与智能故障诊断学习笔记（二）——神经网络在故障诊断及健康管理中的应用

1.基本介绍

PHM 中的输入是传感器所收集数据，输出是根据手头的任务所生成预测。感知器中的基本组件包括输入层（可接收任意数量的输入）、将输入映射到下一层的权重w 、偏置 b 、激活函数 H （将非线性引入函数）和输出 Z。

（ 2 ）在最终输出之前存在一个激活函数。激活函数的目的将神经元的输出改为非线性。 ReLU 为常用激活函数， 如果输入大于 0 ，直接返回作为输入提供的值；如果输入是 0 或更小，返回值 0 。

（ 3 ）激活函数的输出相当于预测输出

（ 4 ）一旦获得预测输出，就可以使用感知器的输出与实际值来评估预测误差 E 。

（ 5 ）在（ 4 ）中计算的误差 E ，作为使用损失函数计算损失的输入。等式（ 5 ）是所用的均方损失函数。

（ 6 ）使用梯度下降法根据损失的大小更新权重和偏差。梯度下降法是一种迭代优化算法，用于通过更新等式（ 6 ）中所示的权重来最小化损失 。

式6中的偏导数取损失函数对权重的导数，相当于计算损失梯度。学习率α控制每次迭代中的变化幅度。通过迭代，梯度下降将收敛于极小值，并为每个权重参数提供最佳值。

    深度神经网络具有大量的隐藏层和神经元单元，每一层中的神经元都与下一层中的神经元完全连接，连接中包含一个权重值，该权重值将贡献输出值。连接的权重随机初始化，然后在训练期间使用梯度下降法进行更新。  

2.神经网络介绍

2.1 CNN

 CNN是包含不同层的神经网络，如卷积、最大池和完全连接层。最大池层的目的是对输入进行降采样和降维，而卷积层从输入中提取高级特征。这使得CNN能够更好地处理与其邻域数据点具有高度空间相关性的数据。

 如图所示，顶部显示了一个普通的二维卷积神经网络（CNN）及其卷积层和最大池层。最大池层随后被展平，以将数据馈送到完全连接的层中。下图是一个一维卷积神经网络（CNN1D），其中滤波器仅向一个方向移动，以执行卷积和最大池运算。

 2.2长短期记忆神经网络LSTM

 长短期记忆神经网络是递归神经网络（RNN）的一种变体，其设计具有由输入、遗忘和输出门组成的链式单元，Gates负责管理传递给下一个单元的信息。Input Gates控制电流输入的影响。每个单元中的Forget Gates控制需要保留多少信息。Output Gates控制流（信息流）是否传递到下一个LSTM单元。这种体系结构允许学习具有长期依赖性的数据。

黄色圆圈代表S形激活函数，而粉色圆圈代表tanh激活函数。此外，“x”和“+”符号是按元素的乘法和加法运算符。

双向LSTM工作原理同LSTM基本一致：

双向 LSTM 以相反方向连接 LSTM 的两个隐藏层，通过使用过去和未来状态来增加网络可用的信息。

红色箭头表示输入值流，蓝色箭头表示输出值，灰色箭头表示 LSTM\/GRU 单元之间的信息流。

除 LSTM 和 GRU 单元外， LSTM 和 GRU 的结构相同。 

2.3门控循环神经网络GRU

GRU 和 LSTM 在参数数量和门类型上有所不同。 GRU 只使用两个门，这两个门是（ 1 ）重置门：用于控制前一个单元的内存保留和向单元中添加新内存；（ 2 ）更新门：用于控制输入和删除新信息。因此， GRU 的设计参数比 LSTM 少，从而降低了模型复杂度。

黄色圆圈代表S形激活函数，而粉色圆圈代表tanh激活函数。此外，“x”、“+”和“1”−” 符号是按元素的乘法、加法和求逆运算符。同时提高了计算效率。 

（注：S形激活函数：当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x=0时，y=1/2）

 参考文献

 [1]He, Y .; Gu, C.; Chen, Z.; Han, X. Integrated predictive maintenance strategy for manufacturing systems by combining quality control and mission reliability analysis. Int. J. Prod. Res. 2017, 55, 5841–5862. doi:10.1080/00207543.2017.1346843. [CrossRef]

[2]Short, M.; Twiddle, J. An industrial digitalization platform for condition monitoring and predictive
maintenance of pumping equipment. Sensors 2019, 19, 3781. [CrossRef] [PubMed]

[3]Liu, F.; He, Y .; Zhao, Y .; Zhang, A.; Zhou, D. Risk-oriented product assembly system health modeling and predictive maintenance strategy . Sensors 2019, 19, 2086. [CrossRef] [PubMed]

[4]Zhu, M.; Liu, C. A Correlation Driven Approach with Edge Services for Predictive Industrial Maintenance.Sensors 2018, 18, 1844. [CrossRef]

[5]Tsui, K.L.; Chen, N.; Zhou, Q.; Hai, Y .; Wang, W. Prognostics and Health Management: A Review on Data Driven Approaches. Math. Prob. Eng. 2015, 2015, 793161. [CrossRef]

[6]Rengasamy , D.; Morvan, H.P .; Figueredo, G.P . Deep learning approaches to aircraft maintenance, repair and overhaul: A review. In Proceedings of the IEEE 2018 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, USA, 4–7 November 2018; pp. 150–156.