机器学习
大琳琳爱吃鱼
这个作者很懒,什么都没留下…
展开
-
Attention机制的小理解
1.传统的encode-decode模型 输入序列: 输出序列: 中间语义变量 所以对于,也就是 这就表明输入序列的每一个元素对于输出序列的每一个元素的作用是等价的,这显然是不合理的。比如机器翻译中,中文“我爱你”,对应英语中“I love you”。其中“我”对于“I”和“love”的翻译作用力显然不同。为了解决...原创 2018-08-31 18:48:51 · 11355 阅读 · 0 评论 -
BERT模型
1、背景语言模型的与训练在自然语言处理的任务中有着重要的作用。1.1 自然语言处理的任务a.句子层面(sentence-level)=>判断句子之间的关系自然语言推理(natural language inference) 自然语言改写(natural language paraphrasing)b.词层面(token-level)命名实体识别(named entit...原创 2018-11-29 18:19:57 · 24121 阅读 · 1 评论