1.神经网络与循环神经网络的区别:
神经网络是一个特殊的模型,当你输入数据和标签时,它从中推导出规则,所以它像一个函数,你输入数据和标签从而获得规则,但该函数并未考虑输入序列直接的联系。
f
(
d
a
t
a
s
,
l
a
b
e
l
s
)
=
r
u
l
e
s
f(datas,labels)=rules
f(datas,labels)=rules
2.序列
斐波那契数列:
1
,
2
,
3
,
5
,
8
,
13
,
21
,
34
,
55
,
89
1,2,3,5,8,13,21,34,55,89
1,2,3,5,8,13,21,34,55,89
变量表示:
n
0
,
n
1
,
n
2
,
n
3
,
n
4
,
n
5
,
n
6
,
n
7
,
n
8
,
n
9
n_0,n_1,n_2,n_3,n_4,n_5,n_6,n_7,n_8,n_9
n0,n1,n2,n3,n4,n5,n6,n7,n8,n9
递推公式:
n
x
=
n
(
x
−
1
)
+
n
(
x
−
2
)
n_x=n_(x-1)+n_(x-2)
nx=n(x−1)+n(x−2)
如图:1和2输入到第一个加法函数,然后输出3,2和3输入第二个加法函数,然后输出5,3和5输入第三个加法函数输出8,以此类推。
3.RNN网络结构
这就是循环神经网络RNN的结构,其中x为输入,y为输出,同时还有一个来自上一个函数的输出量,输入到当前函数。
当我们将它们连接在一起时,它们的结构就是这个样子。
它的结构是这样的:其中x0输入函数中返回y0,同时还有一个输出量输入到下一个函数,这个输出量连同x1一起输入到函数中,产生y1以及另外一个输出,这个输出一起与x2输入到函数中,产生y2并生成一个新的输出,这个过程不断循环,这就是循环神经网络的基本原理。
这种方法处理文本分类时存在很大的问题,
例如:
- Today has a beautiful blue <…>,
最后的单词很可能使sky,因为blue是关键词,在此背景下,当我们讨论美丽的蓝色事物时,我们很有可能说的是美丽的蓝天,因此,参考一个词的上下文语境,对我们理解这个词的含义很有帮助。
Today has a beautify blue sky - I lived in Ireland ,so zt school they made me learn how to speak <…>
你可能认为答案是irash,但更有可能的答案是Gaelic,这是因为首先从语法的角度,irash是用来表示爱尔兰人,而Gaelic是用来表示爱尔兰语言的。更重要的是上下文的关键词给了我们关于这个语言的关键信息。因此,我们需要分析整个句子来了解上下文的含义。
4.LSTM长短期记忆网络
一种先进的循环神经网络结构—LSTM被提出,用来分析文本的上下文含义。
- 除了标准的RNN结构外,它还增加了一种Cell state的结构用于实现长期记忆。
- Cell state的记忆可以使双向的,因为后文的内容也可以影响到前面的状态。