深度学习——基础知识整理（2）

深度学习整理的基础知识点（2）

1. 请介绍一下GoogLeNet网络结构；
2. 请介绍一下ResNet网络结构；
3. 请介绍一下RNN网络结构、缺陷以及缺陷的解决的方式；
4. 请详细的画出LSTM的结构图；
5. 你觉得LSTM和GRU有什么区别？你更喜欢使用那个结构，为什么呢？为什么不使用另外一个结构呢？

1. 请介绍一下GoogLeNet网络结构

GoogLenet是一个22层的深度网络，2014年ILSVRC挑战赛冠军，将Top5 的错误率降低到6.67%。
一般来说提升网络性能的最好的方式就是增加网络的深度和宽度；但是往往会带来梯度消散的问题。
深度方面：
GoogLenet为了避免梯度消散的问题，使用了在不同深度处添加两个loss，来保证梯度消散的问题。
宽度方面：
GoogLenet在第五层采用了Inception结构。在同一层上运行具备多个尺寸的卷积核；通过1*1、3*3、5*5的卷积提取不同的特征。1*1的卷积核也称为逐点卷积，起到降维的作用，减少网络中的参数。

2. 请介绍一下ResNet网络结构【15年冠军】

        其实不管是VGG、GoogLeNet,随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了.。所以出现了ResNet网络结构称为残差网络结构。