序列模型(Andrew Ng)
序列模型(Andrew Ng)的笔记
SuperFeHanHan
人生得意须尽憨!
展开
-
第一周:循环序列模型
第一周:循环序列模型1.0 重点:1.1 为什么选择序列模型(Sequence Models)1.2 数学符号定义记号怎样表示句中的words例子1.3 循环神经网络为什么不用一个常规的全链接神经网络????? 网络结构1.4 通过时间的反向传播(Backpropagation through time)1.5 不同类型的循环神经网络总结:1.6 语言模型和序列生成什么是Language modeling?Language modeling with an RNN训练一个语言模型:1.7 对新序列进行采样基原创 2020-08-09 16:42:12 · 186 阅读 · 0 评论 -
第二周:自然语言处理与词嵌入
第二周:自然语言处理与词嵌入2.1 词汇特征(Word Representation)词嵌入 Word Embeddingt-SNE2.2 使用词嵌入Name entity例子步骤:词向量和人脸识别的关系2.3 词嵌入的特性例子:常见的sim(vect1,vect2)sim(vect1,vect2)sim(vect1,vect2)Cosine similarityDistance(用来描述相异程度)2.4 Embedding Matrix(嵌入矩阵)2.5 实现词嵌入方法一:Neural language原创 2020-08-11 15:39:18 · 306 阅读 · 0 评论 -
第三周:序列模型和注意力机制
第三周:序列模型和注意力机制3.1 基础模型Sequence to sequence modelImage Captioning3.2 选择最可能的句子语言模型和机器翻译的比较:3.3 束搜索(Beam Search)例子:3.4 改进Beam SearchLength Normalization怎么选择Beam width B?3.5 束搜索的误差分析例子解决方法:Case 1: P(y∗∣x)>P(y^∣x)\mathbb{P}(y^*|x)>\mathbb{P}(\hat{y}|x)P(原创 2020-08-12 18:42:41 · 393 阅读 · 0 评论