七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用

基础：RNN、LTSM原理见上一章节

注意力模型：

https://github.com/jazzsaxmafia/show_attend_and_tell.tensorflow
https://github.com/yunjey/show-attend-and-tell

生成模型：

字符级别生成模型：https://gist.github.com/karpathy/d4dee566867f8291f086

数据：http://cs.stanford.edu/people/karpathy/char-rnn/wiki.txt

生成模型发生了什么？

生成模型举例：

1.写食谱：

案例https://gist.github.com/nylki/1efbaa36635956d35bcc
代码继续用https://gist.github.com/karpathy/d4dee566867f8291f086
数据请戳http://www.ffts.com/recipes/lg/lg32965.zip

2.模仿奥巴马演讲：

https://medium.com/@samim/obama-rnn-machine-generated-politicalspeeches-c8abd18a2ea0#.9sb793kbm

3.合成音乐：

https://highnoongmt.wordpress.com/2015/05/22/lisls-stis-recurrentneural-networks-for-folk-music-generation/

前面的方法合成的音乐比较“单调”，有高级一点的方法对音乐进行合成吗？

http://www.hexahedria.com/2015/08/03/composing-music-withrecurrent-neural-networks/

翻译系统：

神经网络翻译系统

o 初版：所有的源语言信息压缩到“记忆”里
o 再从“记忆”里解码

小小的改进，稠密向量(embedding dense vector)

所以效果如何？
o这种方式的NMT模型，比传统的SMT模型要差
o整体差很多,某些条件下差距小

复习双向RNN

关于encoder更细的解释
o要避免信息全都压缩到一个向量里
o双向RNN对每个input x都生成正反的标记向量
o源语言用n个标记向量表示

关于“注意力”模型更细的解释
o句子是变化长度的，要集中精力在某个部分上
o用不同的权重对标记向量进行加权得到context向量
o上面的权重是通过反向神经网络用softmax激励得到的

Tensorflow序列到序列的学习
Ø https://www.tensorflow.org/tutorials/seq2seq
Ø https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/translate

神经网络翻译系统的现状神经网络翻译系统的现状？