torch学习（二） nn类结构-Module

Module

|-Container

   |-Sequential

   |-Parallel

   |-Concat

      |-DepthConcat

安装使用torch以后，接下来就可以开始构建模型和训练了，在这之前，一定要先花半个小时的时间了解一下torch里面nn部分使用到的基本类型，否则容易混乱。

一、Module

Module是神经网络的基本组成部分，作为一个抽象类，可以通过定义成员函数实现不同的神经网络结构，nn.*都是Module的子类。

成员变量有output和gradInput，成员函数包括：

(一)、[output] forward(input)

根据input计算更新output，不建议重写该函数

1.调用updateOutput(input)

对module的输出进行处理，可以重写该函数

(二)、[gradInput] backward(input, gradOutput)

在使用backward之前需要首先调用forward，不建议重写，可以重写它调用的两个子函数

input：该层的输入

gradOutput：对该层输出的梯度

gradInput：对该层输入的梯度

1.updateGradInput(input, gradOutput)

计算相对于输入input的梯度，更新gradInput

2. accGradParameters(input, gradOutput, scale)

计算相对于该Module的参数的梯度

gradParameters：对该层参数的梯度，比如sigmoid层没有参数就没有该变量

scale： gradParameters乘以系数scale，然后累加

3.zeroGradParameters()

重置gradParameters为0

4.updateParameters(learningRate)

根据backward()累加的gradParameters，更新Module的参数

parameters  = parameters  - learningRate  * gradients_wrt_parameters

5.accUpdateCradParameters(input,gradOutput,learningRate)

累积参数梯度，同时更新参数

......

二、Container

父类Module，子类包括Sequential、Parallel、Concat等

新增成员函数包括：

1.add(module)

增加Module

2.get(index)

根据下标获取Module

3.size()

包含的modules

三、Sequential

以feed-forward全连接的形式组织网络

1.remove([index])

删除第index层

2.insert(module,[index])

在中间插入层

四、Parallel

module = Parallel(inputDimension,outputDimension)

Creates a container module that applies its ith child module to the ith slice of the input Tensor by using  select on dimension inputDimension. It concatenates the results of its contained modules together along dimensionoutputDimension.

五、Concat

module = nn.Concat(dim)

Concat concatenates the output of one layer of "parallel" modules along the provided dimension dim: they take the same inputs, and their output is concatenated.

六、DepthConcat

DepthConcat concatenates the output of one layer of "parallel" modules along the provided dimension dim: they take the same inputs, and their output is concatenated. For dimensions other than dim having different sizes, the smaller tensors are copied in the center of the output tensor, effectively padding the borders with zeros.

参考：

https://github.com/torch/nn/blob/master/README.md