AI-机器学习(13)-神经网络-RNN

     什么时候用？文本、音频分析。

     永标准的神经网络用来解决这些问题时的缺点？

    1.标准的神经网络，输入样本长度固定的。这个可以处理序列信号长度不同的情况。比如输入文本，第一次输入20个词，第二次输入30个词。RNN用输出序列解决这个问题。

  2.标准神经网络无法共享特征。比如一句话里有两个相同的词，“李雷”，第一个定义为人名，第二个也肯定是人名的，这个网络可以记忆第一次定义的结果，而标准网络不可以。RNN用记忆单元解决这个问题。

  

1RNN结构

2.输入表示（量化信号，数字输入one-hot其实就是查表）

2RNN 正向（记忆单元、激活函数、输出）

3RNN反向（损失函数）

---

 

1RNN结构

    X 输入信号，  Y 是输出， A 是记忆单元

记忆单元A0：A0是本模块的输出，也是下一个模块的输入,用于解决共享特征的问题。

 

2.输入表示

    量化信号 变成数字才能输入。英语单词几十万，可以建一个几十万的向量表。

例：My name is  tom 建一10维的表，词汇位置在  0 3 6 9 于是表达为

    这就是ont-hot编码。

2RNN 正向

  

    X 输入信号  Y 是输出 A 是记忆单元，b 偏置值，g是激活函数

训练三个参数：Wax Waa Wya 每个时刻三个参数共享的。

 

公式：

    g 激活函数

   ba 输入到隐藏层常数项

   by 隐藏层到输出层常数项

 

3。RNN反向损失函数

    分类 交叉熵  回归 MSE MAE huber

 

就是对wa,wy ba by分别计算偏导，求梯度最优。