RNN 是处理量化金融、风险管理等时序数据的主要深度学习模型,但这种模型用 GPU 加速的效果并不好。本文使用 RNN 与 LSTM 基于 TensorFlow 对比了英伟达 Tesla P100(Pascal)和 V100(Volta)GPU 的加速性能,且结果表明训练和推断过程的加速效果并没有我们预期的那么好。
循环神经网络(RNN)
很多深度学习的应用都涉及到使用时序数据作为输入。例如随时间变化的股价可以作为交易预测算法、收益预测算法的输入而对未来某个时间点的可能状态进行推断。循环神经网络(RNN)非常是适合于建模长期或短期的时间依赖项,因此是本文测试的理想模型。
下图展示了 RNN 中的一个神经元,它不仅是最基础的组成部分,同时还是其它更复杂循环单元的基础。下图可以看出该神经元的输出 y 不仅取决于当前的输入 x,同时还取决于储存的前面状态 W,前面循环的状态也可以称之为反馈循环。正是这种循环,RNN 能够学习到时序相关的依赖性。