ConvnetJS源代码分析第二篇（补充）

截止到前面两篇，我们已经分析了600多行的JavaScript代码，但所涉及的知识仅仅是基本的JS语法，使用最多的就是类的概念。由于在src中还有很多的关于各种类型Layers的定义，但是他们的代码基本是大同小异，就不在一一赘述所有Layer文件的代码了。

这篇关于Layer的补续将会分析convnet_layers_nonlinearities.js。为什么单单拿出这个文件分析呢？

 因为这个文件里定义了激活函数层，这是作者组织代码的高明之处。因为神经网络的层虽然变化的花样很多，但是即基于的组件是用一个公共的属性的。还记得第二篇的分析FullyConnLayer时，当时注释的其中的forword和backword中并没有激活函数的身影。作者是把连接层和激活函数层的变换层分开的。通过查看convnet_net.js（下一篇会详细分析），可以发现他为每一个层如果active function定义了，比如（Relu，Sigmoid等），他会在加上一层非线性层，也就是在这个文件中定义的。如果没有定义，就没有变换或者激活函数说其为线性。

我们可以取convnet_layers_nonlinearities.js关于SigmoidLayer代码验证上面的观点。代码的结构还是和全连接是一样的，但是其forward和backward仅仅是一个函数变化。

 // Implements Sigmoid nnonlinearity elementwise
  // x -> 1/(1+e^(-x))
  // so the output is between 0 and 1.
  var SigmoidLayer = function(opt) {
    var opt = opt || {};

    // computed
    this.out_sx = opt.in_sx;
    this.out_sy = opt.in_sy;
    this.out_depth = opt.in_depth;
    this.layer_type = 'sigmoid';
  }
  SigmoidLayer.prototype = {
    forward: function(V, is_training) {
      this.in_act = V;
      var V2 = V.cloneAndZero();
      var N = V.w.length;
      var V2w = V2.w;
      var Vw = V.w;
      for(var i=0;i<N;i++) { 
        V2w[i] = 1.0/(1.0+Math.exp(-Vw[i]));
      }
      this.out_act = V2;
      return this.out_act;
    },// 这里的in_act 和out_act的变化仅仅是一个函数变化。
    backward: function() {
      var V = this.in_act; // we need to set dw of this
      var V2 = this.out_act;
      var N = V.w.length;
      V.dw = global.zeros(N); // zero out gradient wrt data
      for(var i=0;i<N;i++) {
        var v2wi = V2.w[i];
        V.dw[i] =  v2wi * (1.0 - v2wi) * V2.dw[i];
      }
    },
    getParamsAndGrads: function() {
      return [];
    },
    toJSON: function() {
      var json = {};
      json.out_depth = this.out_depth;
      json.out_sx = this.out_sx;
      json.out_sy = this.out_sy;
      json.layer_type = this.layer_type;
      return json;
    },
    fromJSON: function(json) {
      this.out_depth = json.out_depth;
      this.out_sx = json.out_sx;
      this.out_sy = json.out_sy;
      this.layer_type = json.layer_type; 
    }
  }

接下来的一篇，我们将会分析将这些layer组合在一起的net类，其定义文件在convnet_net.js中。