在模型的训练过程中,有一部分的感悟,贴出来
1. Alpha 的设置
a = 1 的时候,曲线来回震荡:
a = 4 时,曲线直接不收敛成矩形状,说明必须减小a,大概10倍以上
如果你的模型迭代了很多很多次,还是不收敛,那么就是你写的问题了
在 进行RTRL的OXR迭代的时候,我把更新参数写错了:
原因是更新W时 P写成了q
激活函数图像:
==============================================
每一篇微博纪念我成长的路