class1
1、权重初始化方差遵循的准则:
var
=
2
n
i
n
+
n
o
u
t
\operatorname{var} = \frac{2}{{{n_{in}} + {n_{out}}}}
var=nin+nout2
其中输入输出指的是输入与输出的数目,这个准则是为了防止发生梯度消失与梯度爆炸,同时为了保证最终预测结果范围合适。
2、快速保存numpy数组且不占内存的技巧:
3、卷积不只关注识别的目标,还关注目标的位置,对细微的变化较为敏感。
4、从经验来看,每一次最大池化之后,后面滤波器的数量应该增加一倍
5、如何处理高分辨率的图片:使用注意力机制,即模仿眼睛的成凹原理,将注意力集中在目标上,而旁边无关紧要的东西变得模糊,即分辨率降低。
6、微调时如何确定需要重新训练多少层:一通过卷积可视化的论文,找到跟自己要训练的目标语义相关的层,二是通过试验,一般来说,想要的结果跟原先模型训练的结果差异越大,需要重新训练的层就越多。课程上的微调是以全连接层为界限
7、一般来说,dropout的丢失率应该是越往后越高的,因为我们不想在前面就失去太多的信息
8、解决过拟合的几个方法:1)增加数据2)使用数据增强3)使用更好的泛化结构4)使用正则化5)减小模型的复杂度
9、批量正则化不仅可以加速训练,还能有效的避免过拟合