![9534da00f1b0bec570fafad8199dfdb7.png](https://i-blog.csdnimg.cn/blog_migrate/606071dd01e7d6ab55935fb8a5b46d0c.jpeg)
大纲
- Long Short Term Memory Network
- Bi-directtional LSTM
- Statistical Machine Translation
- Multimodal learning
- Seq2Seq Model
Long Short Term Memory Network
在上一篇RNN讲到,RNN存在梯度消失或爆炸问题, 假如我们来设计一个网络来解决这个问题,怎么来设计呢?
思路1:
思路2:
LSTM vs RNN 结构图
![059a962adfa40e2040bec4cc3831decb.png](https://i-blog.csdnimg.cn/blog_migrate/3e6534bde03c3819a6c2fa0a6cc8c32f.jpeg)
lstm整体结构与rnn大体相同,只不过加了一些门单元。
RNN:
LSTM结构祥析
遗忘门(Forget gate):
![cd7f7ec1795ca4599685a97891fc3c10.png](https://i-blog.csdnimg.cn/blog_migrate/7e5df19f5a3bd475cb11c10bcd626070.jpeg)
可以看到这里的
输入门(Input Gate):
![04f52de05b74593af70759975d3e4d6b.png](https://i-blog.csdnimg.cn/blog_migrate/2484cb3328ca79ca997c55a4db93e374.jpeg)
输入门的作用就是往状态信息中添加新东西。同样,由输入的
计算新状态
![cc998c956f5f97d4875b7f2b48e8aac2.png](https://i-blog.csdnimg.cn/blog_migrate/89c50d55855fa38e00202c1231cb7581.jpeg)
当前状态
![9523aac7cdbda84569af7c5ae8c5c9b7.png](https://i-blog.csdnimg.cn/blog_migrate/f658b14d3ec333b2f5c070f4596765fb.jpeg)
输出门(Output Gate):
![a12d706abc44c59790efc9afa339da6c.png](https://i-blog.csdnimg.cn/blog_migrate/fa81f0a55db1d1b28479a53734a4ec00.jpeg)
计算
![6c1939d8e4e72c0cafb7551ee5daa60b.png](https://i-blog.csdnimg.cn/blog_migrate/4bde288d69c6e7cbe1a4292fe3696ff3.jpeg)
Bi-directtional LSTM
在词向量的领域,我们经常使用Bi-directtional LSTM,它的效果确实要比单向的好。
![1cbd8df5322a1790f845654df7f866c4.png](https://i-blog.csdnimg.cn/blog_migrate/d7b1a8df7b655478c108ada930fc4a13.jpeg)
我们想模拟一个语法树,我们如何去改造lstm模型呢?
![85876c4765a7d0b73168ff9f04edd36c.png](https://i-blog.csdnimg.cn/blog_migrate/3b26e75f1d8272455d95c35fc57dc3a9.jpeg)
我们把数据类型做个区分:
- 简单(年龄,输入...) 逻辑回归...
- 时序类(
) LSTM
- structed Data (Tree,Graph)
![53b351f1c7c3a6736b0d92864b58fb79.png](https://i-blog.csdnimg.cn/blog_migrate/4fc66316bb1a0714ffe7b72a327a4fcb.jpeg)
![6f7b6728f22e853904292214f4120d81.png](https://i-blog.csdnimg.cn/blog_migrate/266286098688e522e0961b4fd3baafc4.jpeg)
Statistical Machine Translation
机器翻译传统方法Aligment/IBM Model
端到端的方法论
![b347aed0a4444feb199d183896dfde7f.png](https://i-blog.csdnimg.cn/blog_migrate/8a8c6f25bb8a3096440943913601327c.jpeg)
这样做最大的好处是不需要知道文本方面的知识
Multimodal learning
下图是一个image-capturing任务的流程图
![b7d75dafcbe0ae5606d5755080bc0bf1.png](https://i-blog.csdnimg.cn/blog_migrate/2d17052d81d5c8575ef2fdb394b81ec8.jpeg)
下图是一个WriteCode任务的流程图
![7096c679203e12454c2385812cff2355.png](https://i-blog.csdnimg.cn/blog_migrate/d191d19b4121c8325360a1952726277f.jpeg)
下图是根据文本生成音乐的流程图
![cc632aeaa550002585e04479ddac2f7b.png](https://i-blog.csdnimg.cn/blog_migrate/911612be58cd195300c55895e4303403.jpeg)
其中
Seq2Seq Model
这个模型在机器翻译系统中应用的很多。
![521e2ef0fa24b735e5fb08ee2edfa946.png](https://i-blog.csdnimg.cn/blog_migrate/afae4a0531a25b746bfea896b87380cf.jpeg)
.........
这种方法论的好处是我们只需要知道两种语言的训练文本的样本就可以了,不需要知道它们之间任何地对应关系。这个方法论的核心是任何语言表达的含义是一样的(meaning vector),表达的方式不一样。
![84f28c726e9e8c2b9fc9ea4041c56f63.png](https://i-blog.csdnimg.cn/blog_migrate/61438c170896353fee88b806a0788eb6.jpeg)
我们可以通过将meaning space作为桥梁构建两种不同语言之间的翻译系统。
Seq2Seq 流程
今天 天气 很 好
![fcdf375f65f4609a74d4d3b511d0fc77.png](https://i-blog.csdnimg.cn/blog_migrate/32f728da1ba59348de62ad8b4204c258.jpeg)
Seq2Seq 训练数据
![a34f84ed851dc238af40381b76decc27.png](https://i-blog.csdnimg.cn/blog_migrate/276cbbdd99fef0cdb388a407b6078fac.jpeg)
Inference/Decoding
![baf07d73e326e3aa09cc8be9ae1e26ae.png](https://i-blog.csdnimg.cn/blog_migrate/4b69427dc833e541ecb7a2de155267ff.jpeg)
decoding阶段每一步都是取当前最大概率的单词作为下一次的输入,这种叫作Greedy Decoding,存在错误积累的问题。在红框里面取第二个里面取第二大概率的is的话,我们得到的句子更通顺。
为了解决这种问题,有两种方法:
- Exhaustic Search
- Beam Search
Exhaustic Search
在某一时刻遍历所有的词库,这样做的时间复杂度为
Beam Search
![5a6f7548fb9a359ee5db34a761dfad82.png](https://i-blog.csdnimg.cn/blog_migrate/e50f001933bcc37363e317b452721772.jpeg)
![e325a1fdf5314ceb74bd660e0243a5fa.png](https://i-blog.csdnimg.cn/blog_migrate/8b490bb5c45d7aa1dc5bb2d6cc6807f9.jpeg)
从上图可以看出,每一步选择最好的3个作为下一步的计算。Today's + weather+ is = -2概率最高,我们可以认为截止到这个时间点翻译成Today's weather is效果最好。
① 考虑一下时间复杂度
T:线性
K:平方(上图每次展开9个,取3个)
时间复杂度为
② 上图过程更倾向于短句
解决方法加上length normalization
![3cd5a7f103e9f761e9bcf62e721dcdef.png](https://i-blog.csdnimg.cn/blog_migrate/f9e1e2d6d7a87762738458d490c4faa0.jpeg)