Transformer
文章平均质量分 59
HanslerLi
北京交通大学计算机科学硕士在读
展开
-
【NLP】带你走近《Attention Is All You Need》
本文是《Attention Is All You Need》的论文笔记,在读完整篇论文之后,我对Transformer提出的背景有初步认识,还有就是Transformer的Big Model参数得到的训练过程,都为我们自己训练模型提供标杆。原创 2021-08-13 15:40:45 · 126 阅读 · 0 评论 -
【NLP】注意力机制在神经网络中的应用
注意力机制在神经网络中的应用0. 前言这篇是我在一门专业选修课上的结课论文,当时的认识还是太过浅薄。最近开始系统学习NLP相关知识,先将这篇小论文发出来,之后会写关于2017年谷歌发布的《Attention Is All You Need》的笔记,还有Transformer的代码实现。鼓励自己学习,欢迎大家批评指正。1. 相关认知神经科学的实验结果注意力视觉同认识神经科学的联系是在视觉方面,我们经常说的注意力不集中都是体现在我们使用眼睛去看的过程。对于注意力机制的研究,早在上世纪九十年代就有人原创 2021-08-09 17:23:53 · 3522 阅读 · 0 评论