深度学习经验备忘录

1. 训练大数据的Conv-DSSM，跑起来一点儿不收敛，且有的时候运气好就往下收敛，有的时候运气不好就打死一点儿都不动，原因：学习速率设的太小了，走不出低谷。把0.0015改成0.15后，立马可以收敛了。

2. 训练大数据句子相似度匹配任务的RNN(双层), 跑起来cost跳动剧烈但不往下降。解决：把learning-rate从1.0调到0.01，冲量从0.85跳到0.95，mini-batch从20调到100, 好了。原因分析：学习率大，minibatch小，导致波动剧烈；

3. Tensorflow上的翻译例子，数据集制作：

按空格split，按标点符号split .,!?"':;[]() 但是标点符号仍作为token

把每位数字都变成0

按词频从高到低排序，最前面加上_PAD, _GO, _EOS, _UNK