关注
分享
2019 CS224N的课程笔记
根据B站视频和官方课件，以及以下参考和自己的理解总结而成
https://looperxx.github.io/CS224n-2019-01-Introduction
https://zhuanlan.zhihu.co
非常感谢
24kb_
这个作者很懒，什么都没留下…
展开
-
Lecture 20:The Future of Deep Learning + NLP
文章目录Deep Learning for NLP 5 years agoUsing Unlabeled Data for TranslationDeep Learning for NLP 5 years agoNo Seq2SeqNo AttentionNo large-scale QA/reading comprehension datasetsNo TensorFlowor Py...原创 2020-02-20 22:38:30 · 633 阅读 · 0 评论 -
Lecture 19: Bias
文章目录Bias in the Vision and Language of Artificial Intelligence各种BiasBias 可能是好的，坏的或者中性的Measuring Algorithmic Bias总结Bias in the Vision and Language of Artificial IntelligencePrototype Theory分类的目的之一...原创 2020-02-19 21:15:42 · 720 阅读 · 0 评论 -
Lecture 18: Tree Recursive Neural Networks, Constituency Parsing, and Sentiment
文章目录The spectrum of language in CSBuilding on Word Vector Space Models如何完成projectThe spectrum of language in CS左上角是一个艺术品，袋子表示词袋模型，袋子里装着词。将词摔下来就相当于把词映射到不同位置上，词向量模型。右边是语言的结构表示Semantic interpret...原创 2020-02-19 13:59:44 · 531 阅读 · 0 评论 -
Lecture 17: Multitask Learning as Question Answering
文章目录MotivationRichard SocherMotivationWhat’s next for NLP & AI?NLP发展历史：基于特征工程的机器学习方法，使用深度学习来学习特征（用向量表示词），对特定任务的深度学习架构，接下来····The Limits of Single-task Learning给出{数据，任务，模型，评测}之后，近些年性能提升很大...原创 2020-02-18 22:23:50 · 666 阅读 · 0 评论 -
Lecture 16: Coreference Resolution
What is Coreference Resolution识别所有涉及到相同现实世界实体的 提及（指代）例如Applications全文理解信息抽取，问答，摘要，···“He was born in 1961” 如果没有共指消解，我们就不能知道 “He” 指的是谁机器翻译语言在性别、数字、零指代（dropped pronouns）等方面有不同的特点。...原创 2020-02-13 11:55:41 · 408 阅读 · 0 评论 -
Lecture 15: Natural Language Generation
文章目录Recap: LMs and decoding algorithmsNatural Language Generation (NLG)LMNLG tasks and neural approaches to them摘要两个主要策略Pre-neural summarizationNeural summarization (2015 -present)对话 DialoguePre-and ...原创 2020-02-12 14:38:23 · 671 阅读 · 0 评论 -
Lecture 14: Transformer
文章目录Self-Attention For Generative Models学习变长数据的表示RNNCNNAttentionSelf-AttentionThe TransformerImportance of residualsSelf-Attention For Generative ModelsAshish Vaswani and Anna HuangJoint work with:...原创 2020-02-21 18:35:54 · 455 阅读 · 0 评论 -
Lecture 13: Contextual Word Representations and Pretraining
词的表示到目前为止，我们基本上说我们有一个词的表示之前学的：Word2vec, GloVe, fastTextPre-trained word vectors: The early yearsCollobert, Weston, et al. 2011 results特征是POS的字符后缀和NER的词典Pre-trained word vectors: Current ...原创 2020-02-10 21:49:56 · 326 阅读 · 0 评论 -
Lecture 12: Information from parts of words: SubwordModels
文章目录Human language sounds: Phonetics and phonologyPurely character-level modelsSub-word models: two trendsHuman language sounds: Phonetics and phonology人类语言声音：语音学和音韵学Phonetics 语音学是声音流——毫无争议的“物理学”...原创 2020-02-08 19:45:37 · 514 阅读 · 0 评论 -
Lecture 11: ConvNets for NLP
文章目录From RNNs to Convolutional Neural NetsCNNS推荐一本书From RNNs to Convolutional Neural Nets循环神经网络不能捕获没有前缀上下文的短语总是捕获了太多最后一个词的信息在最终词向量中例如，softmax总是在最后一步计算RNN的主要思想：对每个固定长度的可能的词序列计算一个向量例...原创 2020-02-07 17:38:43 · 286 阅读 · 0 评论 -
Lecture 10: (Textual) Question Answering
文章目录QAmotivation在谷歌搜索谁是澳大利亚第三任总理，会得到一个答案，包含了图片和简介。这个答案不是直接从结构化数据中搜索得来的，而是从网页（图中是从维基百科）中抽取出来的。文本问答就是完成的就是这样的任务。QAmotivation...原创 2020-02-06 13:22:21 · 489 阅读 · 0 评论 -
Lecture 9: Practical Tips for Final Projects
文章目录The Final ProjectThe Default Final ProjectProject ProposalProject MilestoneFinding Research Topics再看门控循环单元和MTThe large output vocabulary problem in NMT (or all NLG)可能的解决方法MT评价BLEU Evaluation Metr...原创 2020-02-04 23:39:48 · 230 阅读 · 0 评论 -
Lecture 8: Machine Translation, Sequence-to-sequence and Attention
文章目录Pre-Neural Machine Translation机器翻译翻译模型Neural Machine TranslationHow to train a NMT system?搜素策略Greedy decodingPre-Neural Machine Translation机器翻译机器翻译(MT)是将一个句子 x 从一种语言( 源语言 )转换为另一种语言( 目标语言 )的句子...原创 2020-02-04 11:15:55 · 258 阅读 · 0 评论 -
Lecture 7: Vanishing Gradients and Fancy RNNs
文章目录梯度消失直觉具体的推导Why is vanishing gradient a problem?Why is exploding gradient a problem?Gradient clipping: solution for exploding gradientHow to fix vanishing gradient problem?Long Short-Term Memory (...原创 2020-02-03 21:50:58 · 900 阅读 · 0 评论 -
Lecture 6: Language Models and Recurrent Neural Networks
文章目录Language Modelingn-gram Language ModelsSparsity Problems（稀疏问题）Storage Problems（存储问题）n-gram语言模型实际应用How to build a neural Language Model?A fixed-window neural Language ModelRecurrent Neural Network...原创 2020-02-03 08:51:36 · 241 阅读 · 0 评论 -
Lecture 5: Dependency Parsing
本节课主要讲了依存句法分析文章目录语言结构的两种观点Constituency ParsingDependency structure一些歧义依赖路径识别语义关系Dependency Grammar and Dependency StructureDependency Grammar/Parsing HistoryDependency Grammar and Dependency Structu...原创 2020-02-02 23:14:32 · 379 阅读 · 0 评论 -
Lecture 4: Backpropagation and computation graphs
文章目录求梯度的小提示重新训练词向量会出现的问题问题如何解决后向传播计算图后向传播单个节点的计算（h=f(z)h=f(z)h=f(z)）若有多个输入的节点计算效率自动微分为什么要学习反向传播一些其他知识点求梯度的小提示Tip1：小心定义变量，并保持跟踪他们的维度Tip2：使用链导法则，弄清楚哪些变量输入到计算中Tip3：对于一个模型顶层的softmax，首先考虑正确类别的梯度，然后考虑...原创 2020-02-02 15:27:51 · 157 阅读 · 0 评论 -
Lecture 3: Word Window Classification, Neural Networks, and Matrix Calculus
文章目录原创 2020-02-01 23:49:49 · 164 阅读 · 0 评论 -
2019 CS224N lecture2 Word Vectors and Word Senses
word2vecword2vec的主要思想：对文本中的每个词进行迭代使用词向量预测context words 更新词向量来让预测更准确优化：梯度下降使用SGD（随机梯度下降）来加快更新速度每次只使用一个window来更新在一个window中，至多只有2m+1个词，所以梯度很稀疏（下图示例为：center word：like，context words：I，learning...原创 2020-01-22 23:24:58 · 209 阅读 · 0 评论 -
2019 CS224N lecture1 Introduction and Word Vectors
如何表示一个单词的含义(meaning of a word)建立所有同义词synonym和下义词hypernym(即“is a"的关系）的词库wordnetone-hot的向量word2vecSkip-Gram modelCBOW原创 2020-01-17 20:51:35 · 163 阅读 · 0 评论