RNN优化方法
一、增加网络容量的通常做法是增加每层单元数(增加hidden的维数)或增加层数。
循环层堆叠
二、使用循环dropout来降低过拟合。
对每个时间步应该使用的dropout掩码(dropout mask,相同模式的舍弃单元),而不是让dropout掩码随着时间步的增加而随机变化。
三、使用双向RNN
双向RNN是一种常见的RNN变体,它在某些任务上的性能比普通RNN更好。它常用于自然语言处理
一、增加网络容量的通常做法是增加每层单元数(增加hidden的维数)或增加层数。
循环层堆叠
二、使用循环dropout来降低过拟合。
对每个时间步应该使用的dropout掩码(dropout mask,相同模式的舍弃单元),而不是让dropout掩码随着时间步的增加而随机变化。
三、使用双向RNN
双向RNN是一种常见的RNN变体,它在某些任务上的性能比普通RNN更好。它常用于自然语言处理