损失函数多次猛增然后正常收敛下降？这是什么原因？

最近在调网络的时候遇到了一个非常奇怪的问题，如下图：

在网上找了一些解决方案，比如调小学习率，但是调小之后仍然会发生这种问题，可能会建议我跳调的更小一些，但是之前我见过的学习率过大导致的loss猛增的问题，其中的loss并不会像上图一样猛增之后又很快的下降到较底的状态。
有没有朋友遇到过类似的问题呀，想请教下。