总结深度学习各种网络结构【更新中...】

CNN：

总结：利用权值共享【卷积操作】将神经网络本来的全连接层替换为非全连接层，使输入可以为尺度可变的张量。

可用结构：

（Max, mean）Pooling:降维;

全连接层：分类；

GAN：

总结：利用两个网络对抗生成模型，生成器与辨别器，生成器输入图像，生成所需图像，辨别器辨别所需图像与生成图像，使生成器的生成图像骗过辨别器。

可用结构：

CNN；(Recursive)Residual Network(残差(递归)网络);FCN(全卷积网络)；convolutional LSTM；

Autoencoder【AE】自编码器:

与GAN一样，并不是单纯的网络结构，只是类似PCA一样的东西，在无监督学习中的框架，利用conv与deconv降维升维来进行学习，分别叫做encoder与decoder编码解码，一般基于卷积网络，encoder后相当于学习到了特征，而decoder后相当于还原了图像，既可以用输入图像进行训练，训练好一层加深一层。再可以利用有监督微调，从而达到分类或者图像转换的目的。

可用结构：

CNN；Residual Network；

Variance Autoencoder【VAE】变分自编码器:

与AE不同的是，在encoder后与噪声作用，是一种生成模型。

CNN；Residual Network；

残差网络Resnet：

利用上一级的输入与结果相加来使深层网络效果更好（一个残差块一般不小于两层）。

 

U-NET

也是encoder-decoder,利用前一encoder的信息与decoder信息结合，两者一一对应，共享信息。

RNN

在每层神经元间也有级联，也可以使用卷积层。

https://blog.csdn.net/weixin_41923961/article/details/81516622

LSTM

是RNN的特殊变体，由于RNN距离远的神经元会出现梯度消失，其之间联系得不到利用，对神经元间加入一些结构，可以有选择的级联，解决梯度消失。

3D-CNN

既输入是三维数组，原来比如是256✖️256✖️3，现在可以输入视频256✖️256✖️3✖️300，用于分析视频，对物体运动以及三维形态。

Batch normalization 层

网络中间层数据做一个归一化处，但如果是仅仅使用原本的归一化公式，对网络某一层A的输出数据做归一化，然后送入网络下一层B，这样是会影响到本层网络A所学习到的特征的，相当于这一层网络所学习到的特征分布被破坏了。解决：变换重构，引入了可学习参数γ、β，这就是算法关键之处：

每一个神经元xk都会有一对这样的参数γ、β。这样其实当：

、

是可以恢复出原始的某一层所学到的特征的。因此我们引入了这个可学习重构参数γ、β，让网络可以学习恢复出原始网络所要学习的特征分布。最后Batch Normalization网络层的前向传导过程公式就是：

 

上面的公式中m指的是mini-batch size。其可以极大加快网络训练速度，甚至可以舍弃L2正则和drop out.

Dense Net

https://blog.csdn.net/weixin_41923961/article/details/82829733

DBN 深度置信网络

https://blog.csdn.net/weixin_41923961/article/details/81586213

GCN图卷积网络

https://blog.csdn.net/weixin_41923961/article/details/88372849