深度学习在自然语言处理中的运用

目录：

intro

Auto-Encoder 

CNN4Text(卷积)

RNN  (处理序列数据的神经网络)

LSTM (长短期记忆网络，是一种时间递归神经网络)

案例

Reference 

------------------------------------------------------------------------------------------------------------

Intro 

问题原型：Text--->Label   文本分类--->自动文本分类

中文分词：HMM,CRF ,

                 工具：jieba ，stanford , nltk 

keras.io库可以运行在theano 和tensflow 

gensim也是一个深度学习库

------------------------------------------------------------------------------------------------------------

Auto-Encoder 

认知思想：二维世界不能很好的解释二维世界本身，必须高一等级的世界才能解释好它的下级世界，所以我们在

三维世界中能解释二维世界

------------------------------------------------------------------------------------------------------------

CNN4Text

LSTM信息处理过程：

第一步：忘记门

来决定我们该忘记什么信息

 它把上一次的状态ht-1和这一次的输入xt相比较

通过gate输入一个0到1的值（就像是个activation function 一样）

1代表：给我记着！

0代表：快快忘记 !

第二步：记忆门

哪些该记住

这个门比较复杂，分俩步：

第一步：用sigmoid决定什么信息需要被我们更新（忘记旧的）

第二步：用Tanh造一个新的Cell State(更新后的cell state)

第三步：更新门

把老cell state 更新为新cell state 

用XOR 和AND 这样的门来更新我们的cell state 

第四步：输出门

由记忆来决定输出什么值

我们的cell state 已经被更新

于是我们通过这个记忆纽带来决定我们的输出：

（这里的Ot类似于我们刚刚RNN里直接一步跑出来的output）

可能应用的案例？

1.下一个字母是什么？

2.给一句话，分析下一个单词是什么？

3.给一篇文章，分析下一个句子是什么？

4.下一个图片、音符......是什么?

------------------------------------------------------------------------------------------------------------