然后就去远行

《Effective Approaches to Attention-based Neural Machine Translation》基于注意力机制的有效神经机器翻译方法；作者：Minh-Thang Luong（第一作者）；单位：Stanford University；会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL）论文总览Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是

目录1、自然语言表示学习1.1 什么是自然语言处理（NLP）1.2 NLP的基础：语言表示1.3 自然语言处理任务1.3.1 序列到类别1.3.2 同步的序列到序列1.3.3 异步的序列到序列1.4 NLP的语义组合1.5 NLP模型演变1.6 NLP中的三大模型1.7 注意力机制：1.7.1 自注意力模型1.7.3 多头自注意力模型1.8 Transformer2、预训练模型2.1 预训练模型之前2.2 为什么要预训练2.3 预训练任务2.4 典型模型2.4.1 Bert2.4.2 SpanBert2.4

目录1、简述2、当模型在测试数据上性能较差时不要总以为是过拟合3、深度学习提出的方法是应用在哪一方面的？3.1 模型在训练数据上效果不好3.1.1 更换激活函数——ReLU3.1.2 自适应参数学习率3.2 模型在测试数据上效果不好3.2.1 早停3.2.2 正则化3.2.3 Dropout1、简述深度学习模型训练分成三部分：Step1: define a set of function...

问答系统的回顾图中右侧是一个知识库，知识库需要包含两方面信息，每个数据需要包含每个问题和问题对应的答案。假设用户问了一句话：How do you like NLPCamp？这句话经过一系列的文本预处理之后，需要和知识库的每个问题进行匹配，计算用户输入与每个问题的相似度，返回相似度最高的问题对应的答案。这种方法有一个弊端，当知识库数据量太大时，需要计算N次相似度，对于用户的每个问题，都要和知...

词过滤对于NLP的应用，我们通常先把停用词、出现频率很低的词汇进行过滤；这其实类似于特征选择过程。去掉停用词在英文里，比如"the",'in","theirs"这些都可以作为停用词来处理。但是，也要考虑自己的应用场景。去掉低频词出现频率特别低的词汇对分析作用不大，所以一般也会去掉。把停用词、出现频率低的词过滤之后，就可以得到一个词句。词干提取stemmingwent，go，goi...

当用户输入错误时，系统如何识别并进行纠错？拼写错误有两种，第一种是拼写错误，例如上面的theirs，当用户输入的词不存在于词库中时，系统就能知道其输入错误；第二种是语法错误，例如I am go home，应该使用going。当发现用户输入错误之后，可以使用经典的编辑距离寻找可能的输入单词。编辑操作有插入、替换、删除。编辑距离比较小的词是可能的待输入词。词库词量很大，最笨的方法是循环整个词...