自然语言处理
自然语言处理相关论文阅读笔记
劉北习
这个作者很懒,什么都没留下…
展开
-
关于Transformer的个人理解
双向 transformer单向transformer原创 2020-02-26 00:48:29 · 1679 阅读 · 0 评论 -
阅读笔记 - Pointer Network
主要内容论文内容原有模型的问题(Issues in Seq2Seq/RNN)模型架构(Architecture)训练样本的选择凸包问题(convex hull problem)德劳内三角剖分(Delaunay)旅行推销员问题(Travelling Salesman Problem)论文内容原有模型的问题(Issues in Seq2Seq/RNN)模型架构(Architecture)训练样...原创 2020-02-22 11:00:41 · 428 阅读 · 0 评论 -
lecture12 - Subword model
主要内容课程内容课程内容原创 2020-02-20 17:52:05 · 452 阅读 · 0 评论 -
阅读笔记 - word2vec Parameter Learning Explained
主要内容论文内容感想连续词袋模型(CBOW)跳词模型(skip-gram)训练优化(tricks)Hierarchical SoftmaxNegative Sampling论文内容原文地址感想在上完CS224N头三节课后,我对word2vec没有产生很好的理解,于是在网上搜寻资料,无意间看到有人推荐这篇论文,于是立刻找来拜读,但第一次读是云里雾里的,于是在积攒了一些读论文的经验后,重看了一...原创 2020-02-07 20:21:49 · 441 阅读 · 0 评论 -
lecture11 - ConvNets for NLP
主要内容课程内容课程内容原创 2020-01-31 21:43:30 · 180 阅读 · 0 评论 -
lecture10 - Question Answering
主要内容课程内容问答数据集SQuADSQuAD的优点与缺点经典模型Stanford Attentive ReaderBiDAFFusion Net课程内容问答数据集SQuADSQuAD的优点与缺点经典模型Stanford Attentive ReaderBiDAFFusion Net...原创 2020-01-29 14:13:14 · 562 阅读 · 0 评论 -
lecture5 - Linguistic Structure Dependency Parsing
这节课听的比较云里雾里,充斥着各种语言学的术语,Manning的头顶也让人充满担心主要内容课程内容上下文无关文法(Context-free grammar)基于依存关系的文法(Dependency grammar)依存分析(Dependency Parsing)基于转移的依存分析(Transition-based Dependency parser)课程内容上下文无关文法(Context-f...原创 2020-01-26 17:49:27 · 652 阅读 · 0 评论 -
lecture8 - Machine Translation Seq2Seq and Attention
课程内容主要内容统计机器翻译模型(Statistical Machine Translation)梗概神经机器翻译模型(Neural Machine Translation)Seq2Seq模型(sequence-to-sequence)评估指标(Metric)优势与劣势优势劣势注意力机制(Attention)主要内容统计机器翻译模型(Statistical Machine Translatio...原创 2020-01-21 10:27:28 · 595 阅读 · 0 评论 -
lecture7 - Vanishing Gradients and Fancy RNNs
课程内容主要内容神经网络中的问题梯度消失问题(Gradient Vanishing)梯度爆炸问题(Gradient Exploding)如何解决?新的RNN单元长短期记忆单元(Long-Short-Term Memory)门控循环单元(Gated Recurrent Unit)高级网络结构跳接结构(Skip Connection)Dense NetworkResidual NetworkHighw...原创 2020-01-19 23:02:34 · 573 阅读 · 0 评论