1.卷积层的设定:No cov,1layer,2layer,...,nlayer。
2.卷积层隐藏单元的数量:
3.最优池大小:
4.backpropagation through time (BPTT):BPTT算法是常用的训练RNN的方法,其实本质还是BP算法,只不过RNN处理时间序列数据,所以要基于时间反向传播,故叫随时间反向传播。BPTT的中心思想和BP算法相同,沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。综上所述,BPTT算法本质还是BP算法,BP算法本质还是梯度下降法,那么求各个参数的梯度便成了此算法的核心。
5.Unrolling Recurrent Neural Networks:A Gentle Introduction to RNN Unrolling;searching:LSTM is unrolled for 20 time steps