tensorflow2.0学习笔记（2.28）

在卷积神经网络中有几种经典模型比如AlexNet,VGG,GoogLeNet,这些模型比较经典，相关论文也很多，因此师兄推荐我学习RNN和GAN，了解了这两种网络基本特点后，结合有关卷积层变种的知识有以下感悟：
一、转置卷积
基于空洞卷积和矩阵角度的运算原理，再加以运算。
定义：转置卷积(Transposed Convolution，或Fractionally Strided Convolution，部分资料也称之为反卷积/Deconvolution，实际上反卷积在数学上定义为卷积的逆过程，但转置卷积并不能恢复出原卷积的输入，因此称为反卷积并不妥当)通过在输入之间填充大量的padding 来实现输出高宽大于输入高宽的效果，从而实现向上采样的目的。

在了解具体运算过程后，发现与GAN和自编码器原理有相同之处，在准备编写题目为基于卷积神经网络对滚动轴承的故障诊断的小论文中，不知是否可以利用GAN对原有数据集进行扩充，增加模型泛化能力，最主要是提高投稿中标率。

二、深度残差网络
定义为：ResNet 通过在卷积层的输入和输出之间添Skip Connection 实现层数回退机制，入𝑥通过两个卷积层，得到特征变换后的输出ℱ(𝑥)，与输入𝑥进行对应元素的相加运算，得到最终输出ℋ(𝑥) = 𝑥 + ℱ(𝑥)，ℋ(𝑥)叫做残差模块(Residual Block，ResBlock)。由于被Skip Connection 包围的卷积神经网络需要学习映射ℱ(𝑥) = ℋ(𝑥) − 𝑥，故称为残差网络。

感觉残差块和RNN有些相似，其中DenseNet和RNN的结构尤为相似，但是RNN在语义识别等方面作用较大，关于故障诊断方面的具体作用我还是一头雾水，有空还要和师兄请教。