正交初始化是一种权重初始化方法,它可以使神经网络中的权重矩阵保持正交性,从而减少梯度消失和爆炸的问题。正交初始化通常用于循环神经网络(RNN)和长短时记忆网络(LSTM)中。
正交初始化
最新推荐文章于 2024-03-06 18:03:40 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)
正交初始化是一种权重初始化方法,它可以使神经网络中的权重矩阵保持正交性,从而减少梯度消失和爆炸的问题。正交初始化通常用于循环神经网络(RNN)和长短时记忆网络(LSTM)中。