fastai2017（一）

class1

1、权重初始化方差遵循的准则：
$\mathrm{var}=\frac{2}{n_{in}+n_{out}}$
其中输入输出指的是输入与输出的数目，这个准则是为了防止发生梯度消失与梯度爆炸，同时为了保证最终预测结果范围合适。
2、快速保存numpy数组且不占内存的技巧：

3、卷积不只关注识别的目标，还关注目标的位置，对细微的变化较为敏感。
4、从经验来看，每一次最大池化之后，后面滤波器的数量应该增加一倍
5、如何处理高分辨率的图片：使用注意力机制，即模仿眼睛的成凹原理，将注意力集中在目标上，而旁边无关紧要的东西变得模糊，即分辨率降低。
6、微调时如何确定需要重新训练多少层：一通过卷积可视化的论文，找到跟自己要训练的目标语义相关的层，二是通过试验，一般来说，想要的结果跟原先模型训练的结果差异越大，需要重新训练的层就越多。课程上的微调是以全连接层为界限
7、一般来说，dropout的丢失率应该是越往后越高的，因为我们不想在前面就失去太多的信息
8、解决过拟合的几个方法：1）增加数据2）使用数据增强3）使用更好的泛化结构4）使用正则化5）减小模型的复杂度
9、批量正则化不仅可以加速训练，还能有效的避免过拟合