Encoder-Decoder模型学习中（更新中）

毕业答辩要做，导师给了Encoder-Decoder模型，完全不知道是什么？

希望用笔记的方式记录下学习的过程。

--------------------------------------------------------------------------------------------------------------------------------------------------------------

RNN

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络

（神经网络）的组成（输入层，隐藏层，输出层）。

每个（神经元）直接有（权值）

原始的N vs N RNN要求序列等长

https://blog.csdn.net/zhaojc1995/article/details/80572098

--------------------------------------------------------------------------------------------------------------------------------------------------------------

1.RNN怎么来的？（循环神经网络）

  无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。 但是如果元素之间有关联，那就需要记忆的功能，因此需要RNN。

2.RNN的网络结构及原理

  RNN的输出依赖于输入和记忆，就像你现在大四，你的知识是由大四学到的知识（当前输入）和大三以及大三以前学到的东西的（记忆）的结合。

 

定义：

      Xt:表示t时刻的输入，ot:表示t时刻的输出，St:表示t时刻的记忆

      RNN的基础：St=f(U∗Xt+W∗St−1)

（f()函数是一个激活函数，主要用于过滤不重要的信息）

 

3.双向RNN

                                     

                             

4.深层双向RNN

                           

                                  

Pyramidal RNN

详细参考：

https://blog.csdn.net/qq_36098284/article/details/84501704

--------------------------------------------------------------------------------------------------------------------------------------------------------------

Encoder-Decoder模型

RNN最重要的一个变种：N vs M。好比：源语言和目标语言的句子往往并没有相同的长度。 

 

--------------------------------------------------------------------------------------------------------------------------------------------------------------

attention模型，encoder-decoder(编码)模型，传统的RNN实现

一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 

--------------------------------------------------------------------------------------------------------------------------------------------------------------

参考博客：

https://blog.csdn.net/chinabing/article/details/78763454?utm_source=blogxgwz1