CS224N学习笔记
cs224n,超详细学习笔记,稳扎稳打gogogo
三七、
eeeee,曲项向天歌
展开
-
cs224n学习笔记L8:机器翻译(MT)、Seq2Seq、Attention
文章目录一、机器翻译1.1 基于规则1.2 基于概率(statistical)统计(SMT)1.2.1 P(x|y)的学习1.3 神经网络机器翻译(NMT)1.3.1 seq2seq结构1.3.2 seq2seq模型训练1.3.3 贪心解码1.3.4 穷举(exhaustive)搜索解码1.3.5 启发式搜索方法:Beam Search1.3.6 NMT优势与缺点1.3.7 模型验证1.3.8 N...原创 2020-06-18 20:49:23 · 694 阅读 · 0 评论 -
cs224n学习笔记L7: 梯度消失和高级RNN
文章目录一、梯度消失及爆炸1.1 RNN中的梯度消失(推导)1.2 梯度消失会带来的问题1.3 梯度爆炸带来的问题及解决办法二、更复杂的RNN2.1 Long Short-Term Memory(LSTM)2.1.1 LSTM的结构2.1.2 LSTM前向传播2.1.3 LSTM为什么解决了梯度消失的问题2.1.4 LSTM的发展历程2.1.5 Bidirectional RNNs2.1.6 mu...原创 2020-02-29 10:54:42 · 717 阅读 · 0 评论 -
cs224n学习笔记L6: Language models and RNNs
文章目录一、语言模型1.1 什么是语言模型(LM)1.2 n-gram语言模型1.2.1 n-gram数学原理1.2.2 n-gram缺点1.3 为什么要研究语言建模1.4 LM理解二、神经网络语言模型2.1 基于窗口的语言模型2.2 RNN2.3 RNN优缺点2.4 如何训练RNN模型2.5 RNN反向传播2.5.1 基本计算公式及其推导2.5.2 时间序上的反向传播2.5.3 RNN-LM文本...原创 2020-02-27 17:01:09 · 714 阅读 · 0 评论 -
cs224n学习笔记L5: Dpendency Parsing
文章目录课程安排一、语法结构1.1 CFGs(上下文无关文法)1.2 依赖结构表示句子中的词语其他词的依赖关系1.3 为什么要解析句子的结构1.4 依赖解析1.5 标注数据项目:universal dependencies treebanks1.6 Greedy transition-based parsing1.7 神经网络依赖解析器1.8 分布表示课程安排语法结构:一致性和依赖依赖语法...原创 2020-02-25 11:04:55 · 536 阅读 · 0 评论 -
cs224n学习笔记L4: Backpropagation and computation graphs
文章目录课堂安排一、反向传播·续1.1 ∂s∂W\frac{\partial s}{\partial W}∂W∂s的计算推导1.2 梯度推导温馨提示1.3 输入x的偏导课堂安排简单网络的梯度计算以及一些小提示计算图和反向传播需要掌握的知识a. 防止过拟合的规则 b. 向量化 c. 非线性 d. 初始化 e. 优化器 f.学习率一、反向传播·续1.1 ∂s∂W\frac{\par...原创 2020-02-24 20:27:20 · 335 阅读 · 0 评论 -
cs224n学习笔记L3:Neural Networks
文章目录原创 2020-02-21 22:21:10 · 435 阅读 · 0 评论 -
cs224n学习笔记L2:word vectors and word senses
文章目录一、课堂计划二、 词向量计算方法2.1 回顾word2vec计算2.2 word2vec中计算方法详解2.3 高频词(the)引起的问题三、优化基础3.1 梯度下降3.2 随机(stochastic)梯度下降(SGD)四、word vector优化过程4.1 SGD引起的稀疏数据4.2 两种词向量建模方案4.3 训练效率提升方案统计共现(co-occurence)词对一、课堂计划完成...原创 2020-02-17 14:58:05 · 568 阅读 · 0 评论 -
cs224n学习笔记L1:自然语言处理简介
一、课堂内容课程介绍人类语言及词义word2vec介绍word2vec目标函数梯度优化方法基础词向量概览二、课程介绍主要介绍cs224n的教学团队时间安排、课堂资源等。2.1 课堂资源课程网页(课件资源):http://cs224n.stanford.edu、http://www.staford.edu/class/cs224n2.2 教学目标理解现代深度学习方法...原创 2020-02-12 11:49:08 · 671 阅读 · 0 评论