神经网络解读——一些关键词语和使用

1.卷积层的设定：No cov，1layer，2layer，...,nlayer。

2.卷积层隐藏单元的数量：

3.最优池大小：

4.backpropagation through time (BPTT)：BPTT算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。BPTT的中心思想和BP算法相同，沿着需要优化的参数的负梯度方向不断寻找更优的点直至收敛。综上所述，BPTT算法本质还是BP算法，BP算法本质还是梯度下降法，那么求各个参数的梯度便成了此算法的核心。

5.Unrolling Recurrent Neural Networks：A Gentle Introduction to RNN Unrolling；searching：LSTM is unrolled for 20 time steps