RNN
Elman:
以下内容出自书籍《神经网络的43个案例》第23章
matlab创建elman神经网络:
matlab -> nntool
NARX:
NARX Series-Parallel是基于NARX之上,不用返回,用返回的理想值作为延迟输入。,比如:
BPTT:
文章《BackPropagation Through Time》
https://wenku.baidu.com/view/8512429055270722192ef79a.html
RNN Basic Definition:
RNN Error Propagation:
用BPTT改进:(长度大概为3-5层最优,因为会指数级衰减)
BPTT算法:
LSTM:
博士论文:
www
词嵌入:
LSTM: