深度学习总结:常见卷积神经网络——AlexNet,VGG,Resnet
学习机器学习和深度学习已经一年多了,之前一直都是用笔做记录,最近面临即将到来的春招和秋招,回过头复习之前的东西,发现很多在本子上记得不是很清晰,为了以后复习起来方便,同时全面的整理之前的东西,打算开始在博客上记录。
常见模型
首先,还是简单的介绍一下卷积神经网络的思想。人的大脑在识别图像的过程中,并不是一下子整张图同时识别,而是对于图片中的每一个特征首先局部的感知,然后更高层次对局部综合操作,从而得到全部信息。在图像中,其空间联系也是局部的像素点联系较为紧密,而距离较远的像素相关性则比较弱。因而,每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部信息综合起来就得到了全局的信息。这是卷积神经网络具有局部感受野的特点,另一个特点是权值的共享,在整张图片中,所有的局部感受野中的权重是共享的,这大大减少了模型的规模。既然卷积核的权重共享,那么卷积核在一张图的所有局部感受野中只能提取一种特征。解决这个问题的方法是多个卷积核。我们通常用多个不同权重的卷积核对图片进行特征的提取。
Alexnet
Alexnet提出与2012年,是现代卷积网络的奠基之作,使卷积神经网络重新走入了人们的视野,Alexnet的主要创新点有:
- 首先用ReLU取代了sigmoid作为激活函数,ReLU在网络加深时的效果远远好于sigmoid函数,解决了sigmoid在网络加深时出现的梯度消失和爆炸的问题。
- 训练时加入了dropout策略,随机忽略一些神经元,以避