经典的网络架构 Alexnet
卷积神经网络近代史的开篇之作
- 目前的卷积核越小越好,步长小点
- 总共是8层网络
- 5层卷积
- 3层全连接
VGG网络
- 用特征图个数来弥补特征图的损失
- VGG比AL的效果好,15%
- 训练的时间是一天为单位的
深度学习:用更深的网络结构去提取原始数据的特征,
16层的时候比30层的效果好
深度学习层数应该越深越好?
卷积层在增加的过程中,层数并不是越多越好。
新的曙光-残差网络Resnet
- error 越低越好
- 训练集
- 测试集
把卷积层的权重参数改成0
- 好的用
- 不好的就不用,白玩
- 有保底的
- 网络使用后最起码不比原来的差
残差网络把深度学习救活了! 原来一直认为20层就够了
resnet被证明使用过是性能比较好的网络
用经典网络框架就行了,现在更加主流
理解
分类网络,当成特征提取
- 可以运用到各种领域中
感受野的作用
定义
感受
- 当前5这个值可以感受到前面输入的东西是3*3的
- 1感受到的范围是3*3的
- 第二次卷积能感受到第一次卷积的范围
- 这就逐步提出了感受野的范围
- 后面的值是由前面的值得多少来得到的
一般我们希望感受野越大越好
VGG
为什么要堆叠3个小卷积?
- c个卷积核(c个特征图)
- 计算一个其各自所需的参数
- 堆叠小的卷积核需要的参数反而是小的
好处
- 卷积过程越多,特征提取就越细致
- 加入的非线性变换越来越多,还不会增大权重参数的个数
VGG网络的基本出发点:用小的卷积核来完成特征提取的操作
最终一个点能感受到原始区域的大小,这就叫做感受野。