![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 77
NLP系列30篇
oldmao_2000
人工不智能,机器不学习。
展开
-
深度之眼Paper带读笔记1:Deep learning
文章目录前言作者介绍论文意义和主要内容基础知识论文结构1引言DL的应用领域2监督学习Supervised learning3反向传播算法BP4卷积神经网络CNN5基于深度卷积神经网络的图片理解(Image Understanding)6分布表示和语言处理(Language processing)7循环神经网络RNN8深度学习的未来前言本系列将记录带读训练营中的带读文章。文章标题:Deep l...原创 2019-06-04 14:17:55 · 3775 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.2:word2vec.baseline.1
Word2Vec有2+2+1的特征,即:包含2个模型,2个加速方法,1个重采样处理。2个模型是CBOW(周围词的平均预测中心词)和skip-gram(中心词预测周围词);2个加速方法是层次softmax(多分类转换为二分类)和负采样(舍弃多分类,减少计算量);1个重采样是指减少高频词,增加低频词的训练次数。原创 2019-09-08 09:31:03 · 3369 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.3:句和文档的embedding
文章目录前言第一课 论文导读句子分布式表示简介句子分布式表示:历史模型 History ModelBag-of-words Model加权平均法Weighted Averaging Method深度学习模型Deep Learning Model子分布式表示相关方法前期知识储备第二课 论文精读论文整体框架传统/经典算法模型基于语言模型的词向量训练Word Embedding with Languag...原创 2019-09-13 09:51:52 · 1319 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.4:机器翻译Attention NMT.Baseline.08
本文提出的模型可以同时完成两项工作:对齐翻译对齐是软对齐,用的是Attention机制来实现。要把Attention机制中的QKV和本文的notation结合起来看。原创 2019-09-15 16:09:49 · 2306 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.5:transformer
文章目录前言第一课:论文导读序列模型简介序列问题序列模型多到多的序列转换模型Sequence To Sequence Models带有注意力的循环神经网络RNNs With Attention案例分析Case Study自注意力序列模型相关技术注意力机制既能并行计算又能缩短距离前期知识储备第二课 论文精读论文整体框架经典算法模型循环卷积神经网络Recurrent Neural NetworksOr...原创 2019-09-20 11:18:49 · 1565 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.6:GloVe.Baseline.2
文章目录前言第一课:论文导读词表示简介离散表示(独热表示)稠密表示词表示研究意义独热表示One-hot Representation词表示发展历史The History of Word Representation基于共现矩阵的词表示词共现矩阵 Window based Co-occurrence Matrix基于矩阵奇异值分解的词表示SVD-based Word Representation基于...原创 2019-09-21 15:02:47 · 1157 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.7:Skip
文章目录前言第一课 论文导读句表示简介句表示研究意义句表示发展历史The History of Word Representation基于词袋模型的句表示独热编码(略)词表示加权->句表示基于神经网络的句表示语言模型(略)基于语言模型的句表示基于复述句匹配的句表示两类方法对比前期知识储备第二课 论文精读动机模型编码器Encoder解码器Decoder实验结果测试任务Evaluation me...原创 2019-09-22 20:23:47 · 1226 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.8:TextCNN.Baseline.04
文章目录前言第一课 论文导读文本分类简介文本分类Text Classification文本分类研究意义The Significance of Text Classification Research文本表示(略)文本分类发展历史The History of Text Classification基于规则的文本分类基于特征的文本分类基于神经网络的文本分类小结卷积神经网络相关技术卷积神经网络前期知识储...原创 2019-09-23 19:25:35 · 2246 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.9:基于CNN的词级别的文本分类.Baseline.05
文章目录前言第一课 论文导读文本分类简介文本分类文本分类发展历史机器学习文本分类相关方法前期知识储备前言本课程来自深度之眼deepshare.net,部分截图来自课程视频。文章标题:Character-level Convolutional Networks for Text Classification原标题翻译:基于CNN的字符级文本分类作者:Xiang Zhang,Junbo Zh...原创 2019-09-26 11:00:48 · 1062 阅读 · 2 评论 -
深度之眼Paper带读笔记NLP.10:DCNN
文章目录前言第一课 论文导读句子建模简介相关技术前期知识储备前言本课程来自深度之眼deepshare.net,部分截图来自课程视频。文章标题:A Convolutional Neural Network For Modelling Sentences原标题翻译:一种用于句子建模的卷积神经网络作者:Nal Kalchbrenner等单位:University of Oxford发表会议...原创 2019-09-28 14:37:25 · 14047 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.11:FASTTEXT.Baseline.06
文章目录前言第一课 论文导读文本分类简介相关技术词表征词袋模型词频与逆词频指数Term Frequency-Inverse Document frequency基于特征的表征Feature based Representations单词到向量Word 2 Vector用于文本分类的卷积神经网络文本分类的再思考前期知识储备第二课 论文精读论文整体框架经典算法模型卷积神经网络动机:输入序列的编码论文提...原创 2019-09-29 14:57:33 · 1451 阅读 · 2 评论 -
深度之眼Paper带读笔记NLP.12:层次化attention网络.Baseline.09
文章目录前言第一课 论文导读文本分类文本挖掘数据类型文本分类相关技术分层注意网络前期知识储备前言本课程来自深度之眼deepshare.net,部分截图来自课程视频。文章标题:Hierarchical Attention Network for Document Classification原标题翻译:用于文本分类的层次注意力网络作者:zichao Yang,Diyi Yang,Chris...原创 2019-10-08 16:05:13 · 1876 阅读 · 2 评论 -
深度之眼Paper带读笔记NLP.13:PCNNATT
文章目录前言第一课 论文导读关系抽取简介远程监督关系抽取前期知识储备前言本课程来自深度之眼deepshare.net,部分截图来自课程视频。文章标题:Neural Relation Extraction with Selective Attention over Instances原标题翻译:基于选择注意力机制的文本关系抽取作者:林衍凯、刘知远、孙茂松单位:清华大学发表会议及时间:A...原创 2019-10-15 21:43:30 · 1275 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.14:E2ECRF
文章目录前言第一课 论文导读序列标注简介序列标注Sequence Labeling序列标注研究意义以命名实体识别为例中文命名实体识别的挑战命名实体识别的发展历史基于规则的命名实体识别基于特征模板(统计机器学习)的命名实体识别基于神经网络的命名实体识别序列标注中的条件随机场条件随机场Conditional Random Fields前期知识储备前言本课程来自深度之眼deepshare.net,部...原创 2019-10-20 20:59:38 · 661 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.15:多层LSTM.Baseline.07
文章目录前言第一课 论文导读机器翻译简介机器翻译相关方法前期知识储备第二课 论文精读前言本课程来自深度之眼deepshare.net,部分截图来自课程视频。文章标题:Sequence to Sequence Learning with Neural Networks使用多层LSTM的Seq2Seq模型作者:llya Sutskever,Oriol Vinyals,Quoc V. Le单...原创 2019-10-21 20:45:57 · 1750 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.16:卷积seq2seq
文章目录前言第一课 论文导读序列到序列模型Seq2Seq类型卷积神经网络前期知识储备前言Convolutional Sequence to Sequence Learning基于卷积的序列到序列学习作者:Jonas Gehring单位:Facebook AI Research发表会议及时间:ICML2017在线LaTeX公式编辑器a. Seq2seqNLP中的一类任务就是序列生成...原创 2019-10-22 12:05:02 · 787 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.17:GNMT
文章目录前言第一课 论文导读神经机器翻译简介神经机器翻译相关方法(之前有,看带读15课)多层LSTM模型Attention处理OOV词前期知识储备第二课 论文精读论文整体框架模型残差连接实验和结果讨论和总结前言Google’s Neural Machine Translation System:Bridging the Gap between Human and Machine Transla...原创 2019-10-22 18:57:27 · 730 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.18:UMT
文章目录前言第一课 论文导读机器翻译简介机器翻译研究意义机器翻译的发展历史基于规则的机器翻译基于统计的机器翻译基于实例的机器翻译基于神经网络的机器翻译端到端的神经机器翻译(Sequence2Sequence)无监督机器翻译相关技术前期知识储备前言Phrase-Based&Neural Unsupervised Machine Translation基于短语和神经网络的无监督机器翻译...原创 2019-10-24 10:30:06 · 746 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.19:指针生成网络
文章目录前言第一课 论文导读前言Get To The Point:Summarization with Pointer-Generator Networks融合seq2seq和pointer network的指针生成网络作者:Abigail See单位:Stanford University发表会议及时间:ACL2017在线LaTeX公式编辑器a.Seq2seqNLP中的一类任务...原创 2019-10-27 10:08:38 · 1428 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.20:End-to-End Memory Networks
文章目录前言第一课 论文导读记忆网络简介记忆网络相关方法传统RNNGRULSTM前期知识储备第二课 论文精读论文整体框架传统/经典算法模型记忆网络模型实验和结果数据集实验结果讨论和总结参考文献前言End-To-End Memory Networks端对端的记忆网络作者:Sainbayar Sukhbaatar et al.单位:New York University & Face...原创 2019-10-27 18:52:09 · 1064 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.22:双向Attention
文章目录前言第一课 论文导读阅读理解简介多种阅读理解任务前期知识储备第二课 论文精读前言Bi-Directional Attention Flow for Machine Comprehension用于阅读理解的双向attention流模型作者:Minjoon Seo et al.单位:Allenai发表会议及时间:ICLR2017(表示学习learning representatio...原创 2019-11-02 19:20:47 · 1137 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.23:Dialogue
文章目录前言第一课 论文导读对话生成简介GANSeqGAN前期知识储备参考文献前言Adversarial Learning for Neural Dialogue Generation对话生成的对抗学习作者:Jiwei Li单位:Stanford University发表会议及时间:EMNLP2017在线LaTeX公式编辑器别人的翻译代码复现序列概率常规的序列生成任务都是通过...原创 2019-11-04 20:56:27 · 475 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.25:R-GCNs
文章目录前言导读非欧数据欧式空间Euclidean domains非欧数据图如何利用图结构?知识图谱知识就是力量知识推理知识图谱前期知识储备精读前言Modeling Relational Data with GraphConvolutional Networks使用图卷积神经网络建模关系数据作者:Michael Schlichtkrull单位:University of Amsterda...原创 2019-11-05 15:48:12 · 1132 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.26:大规模语料模型
文章目录前言第一课 论文导读作业前言Exploring the limits of language model探索语言模型的极限作者:Rafal Jozefowicz,Oriol Vinyals,mike Schuster,Noam Shazeer,Yonghui Wu单位:Google Brain团队论文来源:ICML 2016在线LaTeX公式编辑器别人的讲解本节将会向大家...原创 2019-11-07 09:32:39 · 650 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.27:Transformer-XL
文章目录前言第一课 论文导读RNNTransformer概况前期知识储备前言Transformer-XL:Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:不受固定长度限制的attention语言模型作者:Zihang Dai单位:Carnegie Mellon University发表会议及时间...原创 2019-11-16 13:01:15 · 833 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.28:TCN (Temporal Convolutional Networks)
文章目录前言第一课 论文导读序列建模序列建模的发展历史序列建模技术总览序列建模与循环神经网络(RNN)序列建模与循环神经网络(LSTM)序列建模与循环神经网络(Seq2Seq)序列建模与卷积神经网络(CNN)序列建模与卷积神经网络(FairSEQ)序列建模与注意力机制序列建模与注意力机制(transformer)前期知识储备第二课 论文精读论文结构传统算法模型RNN加速方案层叠卷积结构Hierar...原创 2019-11-17 09:44:19 · 5653 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.29:深度语境化词表征
文章目录前言第一课 论文导读词表征简介词表征相关方法统计方法词向量基于上下文的词向量前期知识储备第二课 论文精读论文结构前言Deep contextualized word representations添加链接描述一种新型深度语境化词表征作者:Matthew E.Peters et al.单位:Allenai & University of Washington发表会议及时间...原创 2019-11-22 15:49:18 · 552 阅读 · 1 评论 -
深度之眼Paper带读笔记NLP.30:BERT
文章目录前言第一课 导读语言模型与Word Embedding语言模型 Language Model神经网络语言模型Neural Network Language Model词嵌入 Word Embedding词嵌入与预训练 Word Embedding&Pre-training从Word Embedding到BERTWord Embedding存在的问题从Word Embedding到E...原创 2019-11-26 12:08:16 · 775 阅读 · 0 评论 -
深度之眼Paper带读笔记NLP.Baseline.3.C2W
词向量的学习对于自然语言处理的应用非常重要,词向量可以在空间上捕获词之间的语法和语义(Function)相似性。但是词向量机制中的词和词之间是独立的,这种独立性假设是有问题的,词之间形式上的相似性会一定程度造成功能的相似性(cat vs cats),尤其是在形态丰富的语言中。但是这种形态和功能之间的关系有不是绝对的(不好学习到),为了学习这种关系,本文在字符嵌入上使用双向LSTM来捕捉这种关系。本文的C2W模型能够很好地捕捉词之间的语法和语义相似度,并且在两个任务上取得最优的结果。原创 2020-07-01 20:15:24 · 1243 阅读 · 2 评论 -
深度之眼Paper带读笔记NLP.Baseline.10.SGM
Best paper,论文结构比较经典,本文也针对论文结构进行了分析。多标签分类两个问题:标签之间有依赖性、标签之间有不同的重要性。本文将多标签文本分类任务看成序列生成问题,并们使用GE加入decoder结构来生成标签。原创 2020-08-23 15:29:55 · 1709 阅读 · 3 评论