深度学习整理的基础知识点(2)
1. 请介绍一下GoogLeNet网络结构;
2. 请介绍一下ResNet网络结构;
3. 请介绍一下RNN网络结构、缺陷以及缺陷的解决的方式;
4. 请详细的画出LSTM的结构图;
5. 你觉得LSTM和GRU有什么区别?你更喜欢使用那个结构,为什么呢?为什么不使用另外一个结构呢?
1. 请介绍一下GoogLeNet网络结构
GoogLenet是一个22层的深度网络,2014年ILSVRC挑战赛冠军,将Top5 的错误率降低到6.67%。
一般来说提升网络性能的最好的方式就是增加网络的深度和宽度;但是往往会带来梯度消散的问题。
深度方面:
GoogLenet为了避免梯度消散的问题,使用了在不同深度处添加两个loss,来保证梯度消散的问题。
宽度方面:
GoogLenet在第五层采用了Inception结构。在同一层上运行具备多个尺寸的卷积核;通过1*1、3*3、5*5的卷积提取不同的特征。1*1的卷积核也称为逐点卷积,起到降维的作用,减少网络中的参数。
2. 请介绍一下ResNet网络结构【15年冠军】
其实不管是VGG、GoogLeNet,随着网络层级的不断增加,模型精度不断得到提升,而当网络层级增加到一定的数目以后,训练精度和测试精度迅速下降,这说明当网络变得很深以后,深度网络就变得更加难以训练了.。所以出现了ResNet网络结构称为残差网络结构。