调参笔记：神经网络收敛问题

最近网络一直有收敛的问题，怀疑是梯度在训练的时候爆炸或归零导致分类器对evaluate集全0或全1预测。

第一个问题是出现accuracy固定在baseline上，无法提高
原因：

• tf的share embedding column函数
• learning rate不合适

将learning rate反复尝试并去掉share embedding column层改用加一层dense layer作为embedding后问题解决。至于为什么share embedding column出问题，个人猜测是可能本身这个模型的权重就不好收敛，函数导致权重变化进一步过大或过小所以miss掉了极值点，后面找个时间研究一下这个问题。

第二个问题是accuracy在达到某个极值后突然调回baseline，并不变化。
原因：learning rate过大
将学习率调小后解决，原因是学习率过大导致训练中某一个或几个权重爆炸。

最后一个介绍如何检查模型的blog：
This blog gives a quick step to check your model: 37 Reasons why your Neural Network is not working