RNN求解过程推导与实现

RNN展开网络如下图

RNN展开结构.jpg

RNN节点结构.jpg

现令第t时刻的输入表示为,隐层节点的输出为,输出层的预测值,输入到隐层的权重矩阵,隐层自循环的权重矩阵,隐层到输出层的权重矩阵,对应的偏执向量分别表示为,输入层的某一个节点使用i标识，如,类似的隐层和输出层某一节点表示为。这里我们仅以三层网络为例。

那么首先正向计算

其中分别表示激活前对应的加权和，表示激活函数。

然后看看误差如何传递。

假设真实的输出应该是,那么误差可以定义为,是训练样本的index。整个网络的误差

我们将RNN再放大一些，看看细节

RNN节点内部连接.jpg

令则

矩阵向量化表示

所以梯度为：

其中是点乘符号，即对应元素乘。

代码实现：
我们可以注意到在计算梯度时需要用到的之前计算过的量，即需要保存的量包括，前向计算时隐层节点和输出节点的输出值，以及由时刻累积的。

这篇文章里使用python实现了基本的RNN过程。代码功能是模拟二进制相加过程中的依次进位过程，代码很容易明白。
这里改写成matlab代码

1. functionerror =binaryRNN( ) 

   ---

2. largestNumber=256; 

   ---

3. T=8; 

   ---

4. dic=dec2bin(0:largestNumber-1)-'0';% 将uint8表示成二进制数组，这是一个查找表 

   ---

5. %% 初始化参数 

   ---

6. eta=0.1;% 学习步长 

   ---

7. inputDim=2;% 输入维度 

   ---

8. hiddenDim=16; %隐层节点个数 

   ---

9. outputDim=1; % 输出层节点个数 

   ---

10.  

    ---

11. W=rand(hiddenDim,outputDim)*2-1;% (-1,1)参数矩阵 

    ---

12. U=rand(hiddenDim,hiddenDim)*2-1;% (-1,1)参数矩阵 

    ---

13. V=rand(inputDim,hiddenDim)*2-1;% (-1,1)参数矩阵 

    ---

14.  

    ---

15. delta_W=zeros(hiddenDim,outputDim);% 时刻间中间变量 

    ---

16. delta_U=zeros(hiddenDim,hiddenDim); 

    ---

17. delta_V=zeros(inputDim,hiddenDim); 

    ---

18. error=0; 

    ---

19. for p=1:10000 

    ---

20. aInt=randi(largestNumber/2); 

    ---

21. bInt=randi(largestNumber/2); 

    ---

22. a=dic(aInt+1,:); 

    ---

23. b=dic(bInt+1,:); 

    ---

24. cInt=aInt+bInt; 

    ---

25. c=dic(cInt+1,:); 

    ---

26. y=zeros(1,T); 

    ---

27.  

    ---

28. preh=zeros(1,hiddenDim); 

    ---

29. hDic=zeros(T,hiddenDim); 

    ---

30. %% 前向计算 

    ---

31. for t=T:-1:1% 注意应该从最低位计算，也就是二进制数组最右端开始计算 

    ---

32. x=[a(t),b(t)];  

    ---

33. h=sigmoid(x*V+preh*U); 

    ---

34. y(t)=sigmoid(h*W);  

    ---

35. hDic(t,:)=h; 

    ---

36. preh=h; 

    ---

37. end 

    ---

38.  

    ---

39. err=y-c; 

    ---

40. error=error+norm(err,2)/2; 

    ---

41. next_delta_h=zeros(1,hiddenDim); 

    ---

42. %% 反馈 

    ---

43. for t=1:T 

    ---

44. delta_y = err(t).*sigmoidOutput2d(y(t)); 

    ---

45. delta_h=(delta_y*W'+next_delta_h*U').*sigmoidOutput2d(hDic(t,:)); 

    ---

46.  

    ---

47. delta_W=delta_W+hDic(t,:)'*delta_y; 

    ---

48. if t<T 

    ---

49. delta_U=delta_U+hDic(t+1,:)'*delta_h; 

    ---

50. end 

    ---

51. delta_V=delta_V+[a(t),b(t)]'*delta_h; 

    ---

52. next_delta_h=delta_h;  

    ---

53. end 

    ---

54. % 梯度下降 

    ---

55. W=W-eta*delta_W; 

    ---

56. U=U-eta*delta_U; 

    ---

57. V=V-eta*delta_V; 

    ---

58.  

    ---

59. delta_W=zeros(hiddenDim,outputDim); 

    ---

60. delta_U=zeros(hiddenDim,hiddenDim); 

    ---

61. delta_V=zeros(inputDim,hiddenDim); 

    ---

62.  

    ---

63. ifmod(p,1000)==0 

    ---

64. fprintf('Samples:%d\n',p); 

    ---

65. fprintf('True:%d\n',cInt); 

    ---

66. fprintf('Predict:%d\n',bin2dec(int2str(round(y)))); 

    ---

67. fprintf('Error:%f\n',norm(err,2)/2); 

    ---

68. end 

    ---

69. end 

    ---

70. end 

    ---

71.  

    ---

72. functionsx=sigmoid(x) 

    ---

73. sx=1./(1+exp(-x)); 

    ---

74. end 

    ---

75.  

    ---

76. functiondx=sigmoidOutput2d(output) 

    ---

77. dx=output.*(1-output); 

    ---

78. end