![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
浪子私房菜
这个作者很懒,什么都没留下…
展开
-
Positional Encoding 机制
温情藏匿于外冷内热之中,但那些看起来冰冷的代码,也能组合成最浪漫优美的情话。♥Positional Encoding到目前为止,transformer模型中还缺少一种解释输入序列中单词顺序的方法。为了处理这个问题,transformer给encoder层和decoder层的输入添加了一个额外的向量Positional Encoding,维度和embedding的维度一样,这个向量采用了一种很独特的方法来让模型学习到这个值,这个向量能决定当前词的位置,或者说在一个句子中不同的词之间的距离。这个位置向原创 2020-12-10 14:31:58 · 1682 阅读 · 1 评论 -
NLP中Transrofmer模型讲解
日不落的夜晚,键盘的滴滴答答的声音,调试代码的快乐难以忘记, 看到各种奇葩的bug,翻阅百度对遇到的问题进行逐一解决,这就是苦逼的程序员的生活,幸好实验室中有小顽皮哈哈,偶尔逗乐,生活就是这样,只有不断的挑战才能有可能获胜。Transformer接下来我将介绍《Attention is all you need》这篇论文。这篇论文是google机器翻译团队在2017年6月放在arXiv上,最后发表在2017年nips上,到目前为止google学术显示引用量为2203,可见也是受到了大家广泛关注和应用。这原创 2020-12-09 22:19:57 · 595 阅读 · 1 评论 -
BERT【一切过往, 皆为序章】
前言NLP竞赛过程中的学习,使用BERT模型对baseline模型已经跑出,我,,,,,,不在乎结果,一切都是享受调代码带来的欢乐。Attention机制讲解attention是一种能让模型对重要信息重点关注并充分学习吸收的技术,它不算是一个完整的模型,应当是一种技术,能够作用于任何序列模型中。Seq2Seq在开始讲解Attention之前,我们先简单回顾一下Seq2Seq模型,传统的机器翻译基本都是基于Seq2Seq模型来做的,该模型分为encoder层与decoder层,并均为RNN或RNN的原创 2020-12-09 20:42:14 · 331 阅读 · 1 评论 -
BERT(原理篇)
一文读懂BERT(原理篇)2018年的10月11日,Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,成功在 11 项 NLP 任务中取得 state of the art 的结果,赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进行学习后的知识梳理,仅为自己学习交流之用。因笔者精力有限,如果文中因引用了某些文章观点未标出处还望作者海涵,也希望各位原创 2020-12-07 21:11:59 · 1487 阅读 · 1 评论