fastai2017（四）

1、当为了微调模型对已有模型添加批量正则化需要注意，如果直接添加的话，批量正则化会将激活值归一化，这意味着以后的权值跟已有模型相比会发生改变，所以不能这样操作，解决的办法是人为的计算出上一层输出的均值跟方差，然后利用这两个参数设定批量正则化层的权值分布，这样的话以后的权值就可以使用了
2、在自然语言处理中，不需要像在计算机视觉中那样传送整个预训练权值，只需要传送预训练词向量即可，也就是学习完成的词嵌入（embedding）
3、在NLP中，也可以使用卷积层，不过此时使用的是一维的卷积层
4、进行训练时，通常使用预训练的词向量，此时嵌入层的权值设置为不可改变，经过几个epoch的训练之后，将嵌入层的权值设为可训练进行训练词向量，这样操作效果会更好。
5、当对卷积核大小无法把握的时候，一种是慢慢尝试卷积核的大小，另一种是同时设置不同卷积核大小的网络，然后将这些网络结合在一起成为一层，观察训练的效果，这些网络的关系式并列关系，之后将这一层嵌入到神经网络中，代码如下：