Stanford CS224(d/n) Deep Learning for NLP Notes
文章平均质量分 91
斯坦福大学《深度学习与自然语言处理》公开课学习笔记,这门课程旧版是CS224d,由Richard Socher主讲,后来合并为CS224n,由 Christopher Manning、Richard Socher 一起主讲。本专栏主要记录学习过程中的笔记和心得等。
蜡笔大龙猫
这个作者很懒,什么都没留下…
展开
-
CS224D 课程学习笔记 L06
Lecture 6. Neural Tips and TricksLecture 6主要介绍了深度学习应用的一些小技巧,例如多任务训练、梯度检测、正则化、多种激活函数、参数初始化、学习速率等。文章目录Lecture 6. Neural Tips and Tricks多任务学习(也叫权重共享)梯度检测正则化非线性神经元SigmoidTanhHard TanhSoft signReLuLeaky...原创 2019-01-12 22:42:03 · 368 阅读 · 0 评论 -
CS224D 课程学习笔记 L05
Lecture 5. Neural Networks这节课我们将要学习神经网络。教授本节课slides是按照单层神经网络的前向计算、损失函数、后向计算,两层神经网络的前向计算,损失函数,后向计算两个方面来讲解以及推导梯度公式。notes III是按照神经元、单层神经网络、最大间隔目标函数、元素级别的后向传播训练、向量级别的后向传播训练这些神经网络的基础来讲解。因为本章的Back Propagat...原创 2019-01-06 17:52:49 · 495 阅读 · 2 评论 -
CS224D 课程学习笔记 L04
Lecture 4. Word Window Classification我们在上节课快结束的时候提到了窗口分类,Lecture 3这节课更详细的介绍了常用分类的背景、窗口分类、更新词向量以实现分类,交叉熵推导经验等,课程的最后5分钟教授简单的介绍了单层神经网络,这部分笔记放在第五节课中。文章目录Lecture 4. Word Window Classification分类背景知识词向量用于窗...原创 2018-12-24 19:51:18 · 447 阅读 · 0 评论 -
CS224D 课程学习笔记 L03
Lecture 3. More Word VectorsLecture 3 这节课首先复习了上节课学到的word2vec模型,以及使用梯度下降和SGD优化参数,然后介绍了词向量的内部评测和外部评测,参数对于类比评测任务的影响,处理词义的模糊性和窗口分类等。文章目录Lecture 3. More Word Vectors梯度的更新词向量的评测内部评测 vs 外部评测内部评测示例:词向量的类比内部...原创 2018-12-16 18:42:14 · 290 阅读 · 0 评论 -
CS224D 课程学习笔记 L02
Lecture 2 主要介绍了传统的共现矩阵生成词向量方法和迭代生成词向量的方法,例如word2vec和Glove。文章目录Word Vectorsone-hot vector共现矩阵共现矩阵存在的问题SVDSVD存在的问题word2vec*word2vec的神奇之处*Glove几种得到词向量方法的对比Iteration Based Method一元、二元语言模型CBOWSkip-gramNeg...原创 2018-12-09 19:49:42 · 856 阅读 · 2 评论 -
CS224D 课程学习笔记 L01
Stanford CS224D 课程学习笔记 L01Lecture 1. Intro to NLP and Deep Learning教学大纲知识背景NLP是什么?NLP LevelsNLP应用为什么NLP困难?Deep Learning是什么?探索DL的原因NLP的典型应用Lecture 1. Intro to NLP and Deep Learning邮箱:houlisha1987@12...原创 2018-12-02 22:14:33 · 752 阅读 · 0 评论