Transformer前言:self-attention与Multi-Headed Attention的详细理解
在此特别感谢李宏毅老师的课程,真的是醍醐灌顶。论文地址:《Attention Is All You Need》引入:self-attention是一种新的注意力机制,transformer在NLP(自然语言处理)上应用的很广。假设有这么一项任务,给定一个英文句子,能够得出句子中每个单词的词性:考虑一句话:I saw a saw(我看见了一个锯子)对应词性为:名词 动词 量词 名词那么问题来了,这个句子如何放进模型进行训练呢?如何区别两个saw呢?如果交给机器去学习,只考虑
原创
2022-05-11 15:00:37 ·
424 阅读 ·
0 评论