深度学习-递归网络

先介绍一个简单的例子，放入字符串的第一个字符，让递归网络复述出后面的字符串，我们看看是如何工作的

public class BasicRNNExample {

   // define a sentence to learn
   public static final char[] LEARNSTRING = "Der Cottbuser Postkutscher putzt den Cottbuser Postkutschkasten.".toCharArray();//定义一个要学习的字符数组

   // a list of all possible characters
   public static final List<Character> LEARNSTRING_CHARS_LIST = new ArrayList<Character>();//再定义一个所有可能的字符列表，也就是字符集合

   // RNN dimensions
   public static final int HIDDEN_LAYER_WIDTH = 50;//定义RNN网络的维度，隐层宽度是50
   public static final int HIDDEN_LAYER_CONT = 2;//隐层的数量是2，也就是2个隐层
   public static final Random r = new Random(7894);//随机生成器

   public static void main(String[] args) {

      // create a dedicated list of possible chars in LEARNSTRING_CHARS_LIST
      LinkedHashSet<Character> LEARNSTRING_CHARS = new LinkedHashSet<Character>();//创建一个专用的linkedhashset存放要学习字符串的可能字符
      for (char c : LEARNSTRING)
         LEARNSTRING_CHARS.add(c);//把要学习的字符数组中的唯一字符放入刚才创建的linkedhashset
      LEARNSTRING_CHARS_LIST.addAll(LEARNSTRING_CHARS);//把刚才的linkedhashset放到定义的字符列表

      // some common parameters
      NeuralNetConfiguration.Builder builder = new NeuralNetConfiguration.Builder();//和cnn一样，定义网络，设置迭代次数，学习率，参数优化方法为随机梯度下降，随机种子，初始化偏差为0，不做批处理，也就是一次处理全部数据，参数更新方法为可变学习率的方法
，初始化权重服从均值为0，方差为2.0/(fanIn + fanOut)的高斯分布，fanIn是上一层节点数，fanOut是当前层节点数
      builder.iterations(10);
      builder.learningRate(0.001);
      builder.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT);
      builder.seed(123);