学习情况
重点学习一下AlexNet和VGG的模型,跑完步回来码!
…回来了!
没赶上DataWhale的直播课,等一下录播课~自己先研究一下卷积神经网络框架吧!
今天开始重新看吴老师的深度学习课,再复习一下推导过程。
经典的卷积神经网络
AlexNet
AlexNet是Hinton的学生Alex Krizhevsky在2012年提出的卷积神经网络,这个框架真的太经典了。感觉从12年这个框架的提出之后,深度学习CNN就开始进入人们的视线,基于深度学习CNN的算法开始占据各大cv比赛的榜首。
上图是AlexNet提出当时的图,可以看到它呈现出的是双GPU并行的模型。我对双GPU的理解是:将两个GPU中的权重进行共享,提高训练的效率。特点有:
- 无padding层,保证了网络的全卷积性
- 使用ReLU激活函数,比基于Sigmoid的网络训练快很多
- Dropout
- 8层
VGG
VGG是Oxford的Visual Geometry Group的组提出的。比较典型的是VGG16和VGG19,两者没有明显的差别,就是深度不同。
VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核(11x11,7x7,5x5)。对于给定的感受野(与输出有关的输入图片的局部大小),采用堆积的小卷积核是优于采用大的卷积核,因为多层非线性层可以增加网络深度来保证学习更复杂的模式,而且代价还比较小(参数更少)。