1、NLP中对全连接层进行权值初始化时,一个小技巧是可以初始化为单位矩阵
2、data leakage:模型学习到了与结果之间相关但又没有实际作用的信息。简单来说,就是通过这种信息我们可以取得比较好的结果,但输入取巧获得结果,实际中无法应用
3、进行多任务的训练有时候会让模型变得更加弹性化,更加稳健
4、全局平均池化:对每一个特征图作平均池化操作,对全连接层有一定的替代作用,可以减少全连接带来的过拟合与过多的参数。
fastai2017(五)
最新推荐文章于 2024-06-01 02:44:15 发布