CNN发展相关问题

Inception 系列的发展与区别

从Inception v1到Inception-ResNet,一文概览Inception家族的「奋斗史」 - 机器之心的文章 - 知乎
https://zhuanlan.zhihu.com/p/37505777

Inception V1:

  1. 采用了多尺寸卷积核提取特征后融合的“加宽”设计。
  2. 采用了两条辅助的中间层softmax分类器,用以改善梯度消失的问题。

Inception V2:

  1. 学习VGG用3x3的小卷积核组合代替大卷积核
  2. 使用1xn和nx1的组合来代替nxn
  3. 使用concat(conv, pool)的结构来进行分辨率降低

Inception V3:

  1. BN
  2. label smo0thing
  3. RMSprop优化器
  4. Factorized 7x7 conv

Inception V4:

  1. stem(conv和pool并行)

Inception-ResNet:

  1. 使用了Residual结构

关于 conv和pool并行 这个的提出,感觉版本有点混乱,V4里的stem不是在V2里提了吗? 还有有的又把这个归在V3里…要疯了

Inception V1 怎么设计的

  1. 采用不同大小的卷积核后拼接,可以融合不同尺度特征
  2. 采用conv1x1降低维度,减少计算量

在这里插入图片描述
为什么使用1x1卷积核

  1. 降维
  2. 增加非线性性

CNN每个层及其作用

  1. 卷积层:使用卷积核提取特征
  2. 激活函数:激活特征;增加非线性性
  3. 池化层:降低分辨率,减少参数;提取主要特征
  4. 全连接层:连接所有特征,用以分类

Pooling层怎么反向传播

mean pooling:
将梯度平均向后传播
在这里插入图片描述
max pooling:
将梯度传播给窗口内最大的像素
在这里插入图片描述

ResNet为什么好

  1. 短路连接,有效解决训练过程中梯度消失问题
  2. 学习残差,简化学习目标和难度,不会出现网络退化的问题(学不出来就学个0的残差就好了,所以理论上增加层数不会变的更坏

你必须要知道CNN模型:ResNet - 小小将的文章 - 知乎
https://zhuanlan.zhihu.com/p/31852747

ResNet V2

在这里插入图片描述

  1. 将激活函数放置在旁路中,short-cut构建 clean information path。
  2. 旁路中的结构从 conv-bn-relu 转换为 bn-relu-conv。

精读深度学习论文(6) ResNet V2 - 清欢守护者的文章 - 知乎
https://zhuanlan.zhihu.com/p/33486357

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值