本文深入探讨了神经网络的结构，包括卷积层、池化层、全连接层及其优化技巧，如Alexnet和ResNet。特别强调了在小数据集上利用迁移学习提升模型性能的方法。
神经网络详解
加一圈0，pad保持卷积后尺寸不变
不加一圈0，尺寸会逐步快速减小
总结（卷积层数量计算公式）
1*1的滤波器来卷积也是有意义的（因为有深度），一般用奇数（有左右）
局部连接性（全局连接太大）
每个深度方向（如下5个不同的神经元）都看着输入数据相同的部分，
28*28个都在局部空间内寻找垂直的条形（轮廓）
以上讲的是卷积层和relu层
poling池化层采样（一般向下采样）
最大池化
还有平均pooling
如F=2,S=2
就每次不断缩小2倍
全连接层
以Alexnet（单线简化版）
池化层没有参数
用滤波器做卷积时所有神经元共享参数，反向传播要当心，所有滤波器的梯度都汇总到一个权重blob
（如上图）训练细节：
拿到图像后不直接使用而是先对其处理一下（尺寸，颜色，噪声等，0.5随机失活）
##ZFnet实例
vgg-Net
全连接层参数量过大，现在往往采用均值化技术减少（对每个volume（feature map 求均值）得到512个数），从而减小量（效果差不多）
googlenet（加入inception模块）
ResNet（3.7%）
more layers better（加层时同时改正错误率，否则适得其反）
但你需要2-3周用8个GPU训练得到
如何训练一个残差网络
残差网络是恒等的
总结
红色为一般结构公式总结
迁移学习（用于小数据集训练）
数据量很小，可以先在大数据上预训练，再应用到自己的数据集上
4108
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
