Tensor Core究竟有多快？全面对比英伟达V100/P100的RNN加速能力

RNN 是处理量化金融、风险管理等时序数据的主要深度学习模型，但这种模型用 GPU 加速的效果并不好。本文使用 RNN 与 LSTM 基于 TensorFlow 对比了英伟达 Tesla P100（Pascal）和 V100（Volta）GPU 的加速性能，且结果表明训练和推断过程的加速效果并没有我们预期的那么好。

循环神经网络（RNN）

很多深度学习的应用都涉及到使用时序数据作为输入。例如随时间变化的股价可以作为交易预测算法、收益预测算法的输入而对未来某个时间点的可能状态进行推断。循环神经网络（RNN）非常是适合于建模长期或短期的时间依赖项，因此是本文测试的理想模型。

下图展示了 RNN 中的一个神经元，它不仅是最基础的组成部分，同时还是其它更复杂循环单元的基础。下图可以看出该神经元的输出 y 不仅取决于当前的输入 x，同时还取决于储存的前面状态 W，前面循环的状态也可以称之为反馈循环。正是这种循环，RNN 能够学习到时序相关的依赖性。