在进行对于联邦遗忘学习的问题研究上，考虑到是不是可能遗忘的程度或者数据是和时间有关的，所以不知道是不是可以使用长短期记忆网络，因此对于RNN和LSTM进行一定的学习
主要矛盾
使用什么样子的数据，输出什么样子的数据，解决什么样的问题
RNN
输入：与时间有关的序列
单层网络-经典RNN结构
RNN中提出了隐状态h(hidden state)的概念，隐状态h可以对序列形的数据提取特征，接着再转换为输出
RNN的计算是一种递推式的计算，其中使用的
W
,
U
,
b
W,U,b
W,U,b都是相同的参数，也就是说在RNN中的每个步骤参数是共享的（但是LSTM中不共享，因为RNN的权值是在同一个向量中，只是不同时刻而已），递推公式为
h
i
=
f
(
U
x
i
+
W
h
i
−
1
+
b
)
h_i = f(Ux_i + Wh_{i-1} + b)
hi=f(Uxi+Whi−1+b)
RNN的输出值直接通过h进行计算，输出同样是共享参数，计算公式为
y
i
=
s
o
f
t
m
a
x
(
V
h
i
+
c
)
y_i = softmax(Vh_i + c)
yi=softmax(Vhi+c)
通过观察可以看到RNN的输入和输出的序列长度必须是等长的。
RNN的应用
RNN可以被用来使用先前的事件推断后续的事件，而不是在推断后面事件的时候从零推断。
如果将上面的结构无限延长，那么这个屏幕的横向估计也放不下，之前提到这个结构的公式可以写成一个递推公式，那何不将结构也画成一个递推的结构？
将上面的递推结构用公式表达一下，
h
t
=
s
o
f
t
m
a
x
[
V
(
U
x
t
+
W
h
t
−
1
+
b
)
+
c
]
h_t = softmax[V(Ux_t + Wh_{t - 1} + b) + c]
ht=softmax[V(Uxt+Wht−1+b)+c]
链式的特征揭示了RNN本质上是与序列和列表有关的，但是RNN的弊端就是他会丧失学习非常远的信息的能力，RNN会受到短时记忆的影响，如果序列足够长，那他们很难将信息从较早的时间步传送到后面的时间步。
LSTM
Long Short Term网络，是一种特殊类型的RNN，可以学习长期依赖的信息，它和RNN没有什么特别大的结构的不同，只是使用了不同的函数计算隐状态。
粗略总结
RNN倾向近期记忆的影响，LSTM倾向于长期记忆的影响
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
