![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 96
李明朔
这个作者很懒,什么都没留下…
展开
-
CS224n自然语言处理(四)——单词表示及预训练,transformer和BERT
文章目录一、ELMO1.TagLM – “Pre-ELMo”2.ELMo: Embeddings from Language Models二、ULMfit三、self-attention和Transformer四、BERT之前介绍的Word Vector方法如Word2Vec, GloVe, fastText等存在两个大问题对于一个 word type 总是是用相同的表示,不考虑这个 word token 出现的上下文,比如 star 这个单词,有天文学上的含义以及娱乐圈中的含义不同,我们可以进行非常原创 2021-01-19 15:22:33 · 962 阅读 · 0 评论 -
CS224n自然语言处理(三)——问答系统、字符级模型和自然语言生成
文章目录一、问答系统1.Stanford Question Answering Dataset (SQuAD)2.Stanford Attentive ReaderStanford Attentive Reader++3.BiDAF二级目录三级目录一、问答系统问答系统(Question Answering)实际需求很多,比如我们常用的谷歌搜索就可看做是问答系统。通常我们可以将问答系统看做两部分:从海量的文件中,找到与问题相关的可能包含回答的文件,这一过程是传统的information retrieval原创 2021-01-19 15:16:59 · 1182 阅读 · 0 评论 -
CS224n自然语言处理(二)——语言模型、机器翻译和CNN
文章目录一、语言模型及RNN1.n-gram语言模型2.Window-based DNN3.循环神经网络(一)梯度消失和梯度爆炸(二)LSTM(三)GRU4.评估语言模型三级目录一、语言模型及RNN语言模型(Language Modelling)研究的是根据已知序列推测下一个单词的问题,根据条件概率的链式法则,我们也可以将其看做一系列词出现的概率问题 。1.n-gram语言模型较为经典的语言模型是n-gram模型。n-gram的定义就是连续的n个单词。该模型的核心思想是收集关于不同n-gram出现原创 2021-01-19 14:01:24 · 1431 阅读 · 0 评论 -
CS224n自然语言处理(一)——词向量和句法分析
这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录原创 2021-01-19 13:51:46 · 1112 阅读 · 0 评论 -
论文阅读:Natural Language Processing Advancements By Deep Learning: A Survey
文章目录一、介绍二、背景1.人工智能和深度学习(1)多层感知机(2)卷积神经网络(3)循环神经网络(4)自编码器(5)生成对抗网络2.NLP中深度学习的动机三、NLP领域的核心概念转载自:论文阅读:Natural Language Processing Advancements By Deep Learning: A Survey 深度学习在自然语言处理中的进展一、介绍自然语言处理(NLP)是计算机科学的一个分支,它可以帮助机器理解、处理和分析人类语言。NLP方法的开发越来越依赖于数据驱动的方法,这些转载 2020-12-27 15:55:31 · 1471 阅读 · 0 评论