最小门控循环单元

最小门控循环单元

背景

目前，循环神经网络已在时序预测得到广泛的应用，从最初的RNN到97年提出的LSTM再到14年提出的GRU，其本身方法及其变体层出不穷，但是其网络结构均具有浩大的隐藏参数。基于此原因，研究者提出最小门控循环单元网络，其通过对网络结构的改变，保持预测的准确率同时减少网络结构的隐藏参数。

原理

输入门i以参数wi和bi确定时间t的新信息的哪一部分被添加到ct；输入被转换为带有参数Wc和bc的更新ct。属于c t和ct−1构成新的细胞状态ct；输出门由参数Wo和bo决定，控制哪个部分输出为隐藏状态。

想法

1. 可堆叠MGU网络构成深度网络；
2. 与其它网络模型进行组合成混合模型；
3. 可构成Bimgu网络预测模型。

论文地址

https://arxiv.org/pdf/1603.09420.pdf