Cool__W-CSDN博客

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Deep RNNs

这一节主要讲解了深度RNN网络的结构。左边是在一般的神经网络中DNN的结构，由输入经过多层网络最终得到输出与此类似，Deep RNN也有类似的结构，之前的RNN网络都只是一层，如图画出了三层。用a[l]<t>来表示第l层激励的第t个timestep如图，在计算a[2]<3>的过程中，需要用到前面层的a[1]<3>和同一层前一个timestep的a[2]<2>并且计算的参数Wa和ba在同一层的不同ti

2018-03-05 15:21:56 887

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Long Short Term Memory(LSTM)

这一节主要讲解了LSTM单元LSTM和GRU略有区别，可以说是一种更加通用的GRU模型在LSTM中，c<t>不再等于a<t>，因此原来公式中的c<t-1>要改成a<t-1>，同时在LSTM中，也没有了Γr这个门但不同是，除了同样保持了Γu这个门之外，还增加了Γf（forget gate）和Γo(output gate)两个门。在原来c<t>的更新公式中，将(1-Γu)替换为Γf,并且在利用Γo来得到

2018-03-04 15:04:40 548

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Gated Recurrent Unit(GRU)

这一节主要讲述了GRU单元先来看看标准的RNN单元：简化的GRU单元：与一般的RNN单元不同的是增加了一个参数c，表示memory cell 在GRU中，令c<t> = a<t> 例如，当cat为单数时令c<t>为1，复数时为0，这个参数一直保持住并且在需要的时候（即要决定be动词的单复数的时候）会参与决定be动词单复数的计算。（???这里存疑，tanh函数如何保证c为0或者1，是不是应该用sig

2018-03-04 14:58:25 870

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Vanishing gradients with RNNs

这一节主要描述了RNN的梯度消失问题，解决方案就是后面的GRU和LSTM如图，两句话，cat对应was和cats对应were，但是这两个单词相隔很远，这样就存在一个问题，cat的单复数可能影响不了后面be动词的单复数判断，在神经网络中，这和之前在DNN中所见到的类似，梯度消失。也就是一个输出，只会受到附近的输入的影响。这里每个输入输入的就是一层神经网络梯度爆炸：同样，在RNN也会可能发生梯度爆炸的问

2018-03-04 14:52:13 409

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Sampling novel sequence

这一节主要讲了如何从一个训练好的RNN中进行采样得到序列从训练好的RNN中采样出一个序列之前在序列产生中讲到，首先RNN输入a<0>(0向量)和x<1>(0向量)，通过一个RNN cell产生一个输出y。y = softmax(np.dot(Wya, a) + by),可以知道y是一个向量，向量每个entry表示对应index单词的概率。之前直接选择概率最大的那个作为y,在这里利用采样的方法，根据每

2018-03-04 14:48:31 725

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Language model and sequence generation

什么是语言建模？例如语音识别，识别说的到底是哪句话。pair和pear听起来非常相似，神经网络会输出两句话的可能性，当然一个训练良好的神经网络会对后面那句输出更高的概率。语音模型输出的是“是这个sentence”的概率，y<t>代表某个单词利用RNN来进行语言建模训练集：英语语料库将每个单词符号化。句子有几个单词就有几个y,每个y输出的是可能性，代表每个单词的可能性，后面会筛选出可能性最大的那个

2018-03-04 14:22:49 435

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Different types of RNNs

这一节讲述了不同类型的RNN这是第一节中的图片，展示了一些不同的时序信号，对应不同类型的RNN来进行处理many-to-many的例子,例如之前将的识别人名位置。有一个输入就对应一个输出many-to-one类型，例如根据一句话“There is nothing to like in this movie”来判断给电影的评分，即多个输入只有一个输出one-to-one类型，这种类型没有必要用RNN来

2018-03-04 14:10:09 182

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Backpropagation through time

这一节主要讲了RNN的反向传播过程BP即从输出到输入，因此和FP是相反的一些箭头计算a的参数Wa和ba,计算y的参数Wy和by，绿色的箭头表示在这些不同的a和y的计算中都要用到这些参数（这里展示的是一层RNN，后面会讲到多层，在这一层中，不同的cell参数共享）。这里的箭头表示的前向传播的计算过程，loss函数用的分类中常用的cross entropy，对于每个输出y计算loss，总的loss是这些

2018-03-04 14:00:07 658

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Recurrent Neural Network Model

这一节内容比较多，主要讲述了如何搭建一个RNN标准单元使用标准神经网络的不足： 1.不同样本的输入输出长度不等（虽然都可以padding成最大长度的样本） 2.（更主要的原因）text不同的位置之间不共享学习到的参数RNN模型，可以用左边也可以用右边的来表示，右边用一个弯箭头表示循环。首先，输入对x<1>来说，经过一个RNN cell（每个cell中有多个unit，后面会讲到），得到输出y<1>

2018-03-04 13:51:21 760

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Notation

这一节主要讲了在后面构建模型时要用到的一些符号和标记。

2018-03-04 13:31:57 236

原创吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Why sequence Models

第一次写博客，想到之前课程的笔记都是记在OneNote上，就觉得干脆放到博客上来共享讨论。后面有时间会更新之前的课程笔记。这些笔记记录了课上Ng讲解的一些重点，还有一些我认为的难点(其实就是一开始自己没有明白的东西啦~)这节课可以看做是一个引言，简述了RNN在语音识别，自然语言处理方面的一些应用。可以看到，RNN的应用范围广泛。在图中，不用的应用场景的时序模型并不相同。例如在第二个Mu...

2018-03-04 13:12:56 1285

coolW的博客