深度学习（十四）

RNN

1、bptt：基于时间的反向传播算法，其实就是rnn中使用的反向传播。在fastai中的简单介绍貌似就是在几个时间步之后只记住那些状态，而不再记忆这其中进行的操作，通过这种方式，不再对全部的字符进行反向传播
2、创建批次进行并行训练，使用如下的方法：

CNN

1、自适应最大池化：指定输出的分辨率，自动作最大池化
2、训练的时候可以更新dropout与batch normalization，但验证的时候不要更新