pytorch学习笔记（7）：RNN和LSTM实现分类和回归

参考文档：https://mp.weixin.qq.com/s/0DArJ4L9jXTQr0dWT-350Q

在第三篇文章中，我们介绍了 pytorch 中的一些常见网络层。但是这些网络层都是在 CNN 中比较常见的一些层，关于深度学习，我们肯定最了解的两个知识点就是 CNN 和 RNN。那么如何实现一个 RNN 呢？这篇文章我们用 RNN 实现一个分类器和一个回归器。

本文需要你最好对 RNN 相关的知识有一个初步的认识，然后我会尽可能的让你明白在 pytorch 中是如何去实现这一点的。

1、pytorch提供了哪些RNN？

如果我们对 RNN 有所了解，就会知道 RNN 有很多变种，就像 CNN 也有很多变种一样。只要带了 recurrent 的功能，就都属于 RNN 的范畴。那么在 pytorch 中提供了哪些 RNN 呢？

上面这幅图是 pytorch 源码中的结构，可以看到除了一个 RNNBase() 类，下面还有 RNN，LSTM，GRU 分别继承了 RNNBase() 类，实现了三个 RNN 子类。这三个也就是 pytorch 提供的 RNN 类型。

今天的文章，我们分别通过源码中的 doc 和一些介绍来了解 RNN 和 LSTM，然后分别用它们实现一个回归器和一个分类。关于 GRU 的部分，就留给大家自己去展开啦。

2、RNN，以及实现一个回归器

这一部分，我们先从 RNN 开始进行介绍，分别简单介绍一下 RNN 的原理，在 pytorch 中使用它的一些参数要求，最后是一个回归器，用 sin 曲线作为输入，cos 曲线作为 label，判断函数的拟合能力。

2.1、简单介绍RNN

首先看一下 RNN 的内容，常见的介绍 RNN 的文章中都会有这样一幅图：

$X_0，X_1$ 等等分别是输入序列的一个维度上的数据，$X_0$ 首先传进去，生成 $h_0$ 作为第一个隐状态。然后 $h_0$ 和 $X_1$ 一起作为下一个时间序列上的输入，它们的输出再和 $X_2$ 作为下下个时间序列的输入，以此类推。

具体的细节我们就不展开讲了，默认大家对理论层面已经有了了解。在 pytorch 的源码 doc 中也给出了，对下面的公式进行计算：$$h_t=tanh(W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{(t-1)}+b_{hh})$$这个式子也是对于 RNN 的常见描述。$W_{ih}$ 表示对输入数据进行处理的权重，而 $W_{hh}$ 则表示对上一个时间序列的隐状态进行处理的权重。 b i h b_{ih}