CS224n
CS224n
Forlogen
无论世事如何,你都要成为一个更优秀的人。
展开
-
Lecture 9 Textual Question Answering
随着各种技术的发展,我们可以轻易的收集到大量的文本数据,如何从中提取到有用的信息成为一个重要的问题。例如在网页搜索中,用户在搜索框中输入问题,搜索引擎将返回与之相关的多个网页,这种方式虽然能满足一定的需求,但仍需用户投入大量的精力寻找想要的答案。一种更为好的方法是系统可以根据用户的问题直接返回答案,这种形式在移动端和智能助手上显得更为的有用。 我们可以将上述的问题归结为两阶段进行: 根据问题寻找...原创 2019-08-07 15:59:28 · 276 阅读 · 0 评论 -
Lecture 8 Machine Translation,Sequence-to-sequence and Attention
前两讲主要介绍的是RNN、RNN的多个变体和其中的梯度消失问梯度爆炸问题,以及相应的解决方法。这一将介绍了RNN的一种应用场景-机器翻译(Machine Translation,MT),并主要解释了在NLP中使用率极高的Sequence2Sequence(Seq2Seq)模型和用于提升模型效果的注意力机制(Attention)。 在正式介绍基于神经网络模型的机器翻译之前,首先简单的来看一下机器翻译...原创 2019-07-28 21:10:22 · 403 阅读 · 0 评论 -
Lecture 7 Vanishing Gradients and Fancy RNNs
上一讲主要讲的是传统的语言模型到神经语言模型的过渡,其中涉及的是标准RNN,包括它的构成以及在多种NLP任务上的应用。 RNN虽然作为一种神经语言模型相比于传统的模型具有一定的优势,但是它仍然存在着一系列的问题,比如: 序列进行,计算困难 难以捕捉长程依赖 另外一个大问题便是梯度消失,这一讲更加详细的来了解标准RNN中的梯度消失问题,并介绍RNN的几个变体,包括: LSTM GRU Bidi...原创 2019-07-26 15:12:27 · 321 阅读 · 0 评论 -
Lecture 6 Language Models and Recurrent Neural Networks
这一讲的主要内容包括如何从前面所讲的经典语言模型过渡到现在的神经网络语言模型,而神经语言模型主要介绍循环神经网络(Recurrent Neural Networks,RNNs)。 如何理解语言模型(Language Model)呢?这里可以简单的将其看作是根据前面已有的句子部分来预测下一个词是什么。例如当前已有“the students opened their”,那么根据训练语料库,模型给出的...原创 2019-07-25 21:23:46 · 253 阅读 · 0 评论 -
Lecture 5 Dependency Parsing
这一讲讲的是依存句法分析,实在是听不太懂,投降~ 一些关于依存句法分析的介绍 一文读懂依存句法分析 CS224n笔记6 句法分析 依存句法分析与语义依存分析的区别 句法分析 (syntactic parsing) 在 NLP 领域的应用是怎样的? 哈工大车万翔:自然语言处理中的深度学习模型是否依赖于树结构? 自然语言处理基础技术之依存句法分析 ...原创 2019-07-18 17:23:39 · 237 阅读 · 0 评论 -
Lecture 4 Word Window Classification and Neural Networks
本节课初步介绍了神经网络与NLP的一些结合,主要内容为: Classification background Updating word vectors for classification Window classification & cross entropy error derivation tips A simple neural network Max-Margin loss...原创 2019-07-04 21:31:28 · 366 阅读 · 0 评论 -
Lecture 3 Advanced Word Vector
本节课是对word2vec进一步的探讨,主要集中关注于以下的三个问题: word2vec究竟从文本中捕获到了什么信息,使其可以有效的用于多种下游NLP任务的解决 如何更有效的来捕获这些重要的信息 如何分析word2vec所捕获的信息,即如何评估word2vec效果的优劣 在前一篇CS224n lecture 1&2 Introduction and Word Vectors中对于wor...原创 2019-06-29 10:58:28 · 242 阅读 · 0 评论 -
CS224n lecture 1&2 Introduction and Word Vectors
CS224n lecture 2 Word Vectors ?如何来表示一个词的含义呢 如果我们遇到一个不认识的单词又想知道它的用法,最直接的一个方法就是查字典。根据字典中给出的关于单词的释义,我们就可以知道它的意思和具体的用法。一种理解单词意思的最普遍的语言方式是: signifier <=> signified: 词的形式通常和词的意思具有很大的联系,这在存在大量象形字的汉字中尤...原创 2019-06-13 19:23:15 · 352 阅读 · 0 评论 -
Lecture 10 Natural Language Generation(NLG)
Natural Language Generation(NLG) LMS and decoding algorithms 文本生成的主要目的就是希望生成一段新的文本,它所涵盖的方向很广,主要包含以下几个NLP的子领域: Machine Translation Abstractive Summarization Dialogue Creative writing Freeform Question...原创 2019-08-18 14:48:56 · 1055 阅读 · 0 评论