1.初始化:把前一个cell隐藏状态乘起来对循环矩阵很有用,使用正交化方法很好;初始化的值一般设的小比较好,权重随机的初始化在0左右,但设置遗忘门的bias时,如果把bias设置为一个大小合适的正数效果会更好。
2.结合动态算法(Adam,AdaDelta)比基础SGD更好。
3.垂直方向使用dropout。
(gated)RNN和LSTM实践注意的问题
最新推荐文章于 2024-05-16 17:38:19 发布
1.初始化:把前一个cell隐藏状态乘起来对循环矩阵很有用,使用正交化方法很好;初始化的值一般设的小比较好,权重随机的初始化在0左右,但设置遗忘门的bias时,如果把bias设置为一个大小合适的正数效果会更好。
2.结合动态算法(Adam,AdaDelta)比基础SGD更好。
3.垂直方向使用dropout。