transformer
文章平均质量分 71
rrr2
这个作者很懒,什么都没留下…
展开
-
【transformer】|基础知识
transformer基础知识Transformer网络结构:如图所示,是Transformer的整体网络结构,主要是由编码器和解码器两部分组成。如图3是编码器和解码器的详细网络结构,编码器由两部分组成自注意力和前馈神经网络层,输入首先通过Word2Vec等词嵌入方法将输入语料转化成特征向量。以512为例。编码器自注意力层从编码器输入的句子首先会经过一个自注意力(self-attention)层,这层帮助编码器在对每个单词编码时关注输入句子的其他单词。我们将在稍后的文章中更深入地研究自注意力原创 2021-06-25 10:12:58 · 1356 阅读 · 1 评论 -
【transformer】|End-to-End Object Detection with Transformers
论文下载地址: https://arxiv.org/abs/2005.12872代码下载地址: https://github.com/facebookresearch/detr摘要:该算法简化了目标检测算法的流程,同时将那些需要手动设计的技巧nms(极大值抑制)和anchor成功的删除掉,实现端到端自动训练和学习。DETR算法使基于集合的全局损失函数,通过二部图匹配和编码解码网络结构来强制进行唯一的预测。 给定一小组固定的经过学习的object queries(后面会讲到什么是object queri原创 2021-05-20 17:29:09 · 251 阅读 · 0 评论 -
【transformer】| 李宏毅transformer decoder
encoderegdecoder 输入包括 encoder的输出,给定一个BEGIN ,一个decoder输出的维度V(机器翻译就是中文字的个数,4、5000)每个输出送入下一个输入原创 2021-06-24 16:35:05 · 164 阅读 · 0 评论