fastai2017（五）

1、NLP中对全连接层进行权值初始化时，一个小技巧是可以初始化为单位矩阵
2、data leakage：模型学习到了与结果之间相关但又没有实际作用的信息。简单来说，就是通过这种信息我们可以取得比较好的结果，但输入取巧获得结果，实际中无法应用
3、进行多任务的训练有时候会让模型变得更加弹性化，更加稳健
4、全局平均池化：对每一个特征图作平均池化操作，对全连接层有一定的替代作用，可以减少全连接带来的过拟合与过多的参数。