最近在整一些GCN+a+g模型,更改loss表达的时候发现有时候loss函数下降到一定程度不变,几个更改的方向可以参考,之后遇到继续更新:
1. 降低学习率,之前0.1改成0.01能跑了,当然看具体任务,尝试变为之前的0.1倍尝试即可
2.网络层数过高导致的梯度消失/过拟合,增加了一层FC之后loss异常了,仍然可尝试更改MLP部分或者降低学习率
3.loss函数设置,这个可能不一定会用到,是在尝试不同的loss函数遇到的,losses平均回传和loss回传会不同,中间还有一些对齐的细节需要注意