NLP
文章平均质量分 95
Ritchie_Leung
随便吧,你决定,你喜欢就好
展开
-
Language Model and Recurrent Neural Networks (二)
本文是我去年十月份在公司的团队技术分享会里面分享过的内容,分享这个内容的初衷是我发现自己对RNN(本文均指Recurrent Neural Networks而非Recursive Neural Networks)比较陌生,想找个时间攻克一下,以便以后有此类工作需求可以快速上手。另外本文加入了CS224N关于语言模型和RNN的课堂内容。因此本文属于科普性质的文章,基本上RNN的细节会涉及到,但并非...原创 2019-06-29 17:04:14 · 442 阅读 · 0 评论 -
Language Model and Recurrent Neural Networks (一)
本文是我去年十月份在公司的团队技术分享会里面分享过的内容,分享这个内容的初衷是我发现自己对RNN(本文均指Recurrent Neural Networks而非Recursive Neural Networks)比较陌生,想找个时间攻克一下,以便以后有此类工作需求可以快速上手。另外本文加入了CS224N关于语言模型和RNN的课堂内容。因此本文属于科普性质的文章,基本上RNN的细节会涉及到,但并非...原创 2019-06-28 16:41:31 · 396 阅读 · 0 评论 -
Word Embeddings And Word Sense
最近在学习2019版的CS224N,把所听到的知识做成笔记,以便自己不时地回顾这些知识,另外还希望可以方便没有时间看课程的朋友们用来做个快速的overview(当然,亲自上课是最好的选择)。我也尽量地把所有课程的知识细节都写出来,以及一些相关的知识都牵扯进来。近年来NLP领域发展变化得比较大,语言模型已经开始大行其道,词嵌入技术差不多变成了只是一个稀疏向量的稠密化过程。尽管如此,我认为词嵌...原创 2019-05-29 13:29:19 · 1265 阅读 · 0 评论 -
Attention Mechanism
注意力机制是一种很有用的提高措施,在机器翻译、图像描述生成、图像语义分割等方面都有很重要的作用。今天我想要重点回顾和学习一下注意力机制的各种使用场合。从机器翻译开始机器翻译,准确点说应该是神经机器翻译(NMT),从2014年出现,到目前(2019年),已经成为NLP领域里面最成功的一个应用。在传统机器翻译中,由于不同语种的语法各有不同,词序、表达方式的差异导致机器翻译最大的一个难题就是对齐...原创 2019-07-12 15:05:37 · 795 阅读 · 0 评论 -
漫谈ELMo
词嵌入在很长一段时间内对NLP领域有很大的推动的作用,以至于embedding已经成为NLP任务中的一个标准操作。而研究人员却发现,词嵌入虽好,但弊端也明显,于是乎,语言模型就上位了……如果说Word2Vec是NLP领域里面的一个重要里程碑,那么ELMo的诞生应该可以算得上另外一个里程碑了吧!最近我正是在学习ELMo,因此想整理一下跟大家探讨。词嵌入到底出了什么问题?词嵌入(如想详细了解可...原创 2019-08-15 15:38:57 · 693 阅读 · 0 评论