深度学习笔记4torch的rnn

<span style="font-family: Arial, Helvetica, sans-serif;"></span><p style="margin-top: 0px; margin-bottom: 0px; padding-top: 0px; padding-bottom: 0px; font-family: Arial; font-size: 14px; line-height: 26px;">转自：<a target=_blank target="_blank" href="http://www.aichengxu.com/view/2464035" style="color: rgb(202, 0, 0); text-decoration: none;">http://www.aichengxu.com/view/2464035</a></p><p style="margin-top: 0px; margin-bottom: 0px; padding-top: 0px; padding-bottom: 0px; font-family: Arial; font-size: 14px; line-height: 26px;">本节代码地址
<a target=_blank target="_blank" href="https://github.com/vic-w/torch-practice/tree/master/rnn-timer" style="color: rgb(202, 0, 0); text-decoration: none;">https://github.com/vic-w/torch-practice/tree/master/rnn-timer</a></p>

<span style="font-family: Arial, Helvetica, sans-serif;">require 'rnn'</span>

require 'gnuplot'
batchSize=8  --mini batch
rho=100 --back propagation through time
hiddenSize = 20

r=nn.Recurent(
    hiddenSize,nn.Linear(1,hiddenSize),
    nn.Linear(hiddenSize,hiddenSize),nn.Sigmoid(),
    rho
)
--1. 本层中包含的节点个数，为hiddenSize
--2. 前一层（也就是输入层）到本层的连接。这里是一个输入为1，输出为hiddenSize的线性连接。
--3. 本层节点到自身的反馈连接。这里是一个输入为hiddenSize，输出也是hiddenSize的线性连接。
--4. 本层输入和反馈连接所用的激活函数。这里用的是Sigmoid。
--5. Back propagation through time所进行的最大的次数。这里是rho = 100

rnn=nn.Sequential()
rnn:add(nn.Sequencer(r))
rnn:add(nn.Sequencer(nn.Linear(hiddenSize,1)))
rnn:add(nn.Sequencer(nn.Sigmoid()))
--首先定义一个容器，然后添加刚才定义好的隐藏层r。随后添加隐藏层到输出层的连接，在这里用的是输入为20，输出为1的线性连接。最后接上一层Sigmoid函数。
--这里在定义网络的时候，每个具体的模块都是用nn.Sequencer的括号给括起来的。nn.Sequencer是一个修饰模块。所有经过nn.Sequencer包装过的模块都变得可以接受序列的输入。
--举个例子来说，假设有一个模块本来能够接受一个2维的Tensor作为输入，并输出另一个2维的Tensor。如果我们想把一系列的2维Tensor依次输入给这个模块，需要写一个for循环来实现。有了nn.Sequencer的修饰就不用这么麻烦了。只需要把这一系列的2维Tensor统一放到一个大的table里，然后一次性的丢给nn.Sequencer就行了。nn.Sequencer会把table中的Tensor依次放入网络，并将网络输出的Tensor也依次放入一个大的table中返回给你。

criterion=nn.SequencerCriterion(nn.MSECriterion())


batchLoader = require 'MinibatchLoader'
loader = batchLoader.create(batchSize)

lr = 0.01
i = 1
for n=1,6000 do
   -- prepare inputs and targets
   local inputs, targets = loader:next_batch()

   local outputs = rnn:forward(inputs)
   local err = criterion:forward(outputs, targets)
   print(i, err/rho)
   i = i + 1
   local gradOutputs = criterion:backward(outputs, targets)
   rnn:backward(inputs, gradOutputs)
   rnn:updateParameters(lr)
   rnn:zeroGradParameters()
end

--需要重点说明的是输入和输出数据的格式。我使用了MinibatchLoader（同目录下的MinibatchLoader.lua文件）来从data.t7中读取数据，每次读取8个序列，每个序列的时间长度是100。那么代码中inputs的类型是table，这个table中有100个元素，每个元素是一个2维8列1行的Tensor。在训练的时候，mini batch中8个序列中的每一个的第一个数据一起进入网络，接下来是8个排在第二的数据一起输入，如此迭代。
--当训练完成之后，用其中的组输入放进网络观察其输出：

inputs, targets = loader:next_batch()
outputs = rnn:forward(inputs)

x={}
y={}
for i=1,100 do
   table.insert(x,inputs[i][{1,1}])
   table.insert(y,outputs[i][{1,1}])
end

x = torch.Tensor(x)
y = torch.Tensor(y)
	
gnuplot.pngfigure('timer.png')
gnuplot.plot({x},{y})
gnuplot.plotflush()

github源码里面有两个lua文件，这两个文件需要先执行。在itorch notebook上，我们需要把代码粘贴过来，直接先运行即可。