深度学习中的几大模型

一、AlexNet 模型
1、提出了LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。
2、数据增强,随机地从256×256的原始图像中截取224×224大小的区域(以及水平翻转的镜像)。使用了数据增强大大减轻过拟合,提升泛化能力。(进行预测时,则是取图片的四个角加中间共5个位置,并进行左右翻转,一共获得10张图片,对他们进行预测并对10次结果求均值。同时,AlexNet论文中提到了会对图像的RGB数据进行PCA处理,并对主成分做一个标准差为0.1的高斯扰动,增加一些噪声,这个Trick可以让错误率再下降1%。)
在这里插入图片描述
二、VGG 模型
(1)LRN层作用不大。
(2)越深的网络效果越好。
(3)1×1的卷积也是很有效的,但是没有3×3的卷积好,大一些的卷积核可以学习更大的空间特征。
在这里插入图片描述
三、ResNet模型
VGGNets证明了加深网络层次是提高精度的有效手段,但是由于梯度弥散的问题导致网络深度无法持续加深。梯度弥散问题是由于在反向传播过程中误差不断累积,导致在最初的几层梯度值几乎为0,从而无法收敛。
但ResNet模型通过“残差网络”的方法实现使其变成残差结构,使其收敛效果都急剧提高,精度也随着训练次数地增加持续提高,并且不断加深网络深度还可以持续提高准确率。
1、始需要学习的知识变少,容易学习
2、使每一层的数据分布更接近,容易学习
在这里插入图片描述
在这里插入图片描述
四、InceptionNet模型
待续

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值