循环神经网络的高级用法

本文将介绍提高神经网络的性能和泛化能力的三种高级技巧。

1）循环dropout（recurrent dropout）。这是一种特殊的内置方法，在循环层中使用dropout来降低过拟合。

2）堆叠循环层（stacking recurrent layers）。这会提高网络的表示能力（代价是更高的计算负荷）。

3）双向循环层（bidirectional recurrent layer）。将相同的信息以不同的方式呈现给循环网络，可以提高精度并缓解遗忘问题。

基准方法的作用： 

1）一种基于常识的、非机器学习的基准方法

      深度学习建模前，先尝试一种基于常识的简单方法，它可以作为合理性检查；同时，建立一个基准，更高级的机器学习模型【深度模型】需要打败这个基准才能表现出其有效性。

       面对一个尚没有解决方案的新问题时，这种基于常识的基准方法会有用。

       例子：

       不平衡分类任务，其中某些类别比其他类别更常见。如果数据集中包含90%的类别A实例和10%的类别B实例，那么分类任务的一种基于常识的方法就是对新样本始终预测类别"A“。这种分类器的总体精度为90%，因此任何基于学习到方法在精度高于90%时才能证明其有效性。

        有时候基准方法可能很难打败。

2）一种基本的机器学习方法

       在尝试机器学习方法之前，建立一个基于常识的基准方法是很有用的；同样，在开始研究复杂且计算代价很高的模型（比如 RNN）之前，尝试使用简单且计算代价的机器学习模型也是很有用的，比如小型的密