sjflsahfisaojfsa的博客

之前我们有讲过如何将transformer引入CV领域，想去看看的同学可以点击这里：【Transformer学习笔记】VIT解析VIT论文中最后的实验解决的是一个多分类任务。那么transformer的结构能不能用来解决目前cv领域大热的目标检测问题呢？DETR，DEtecion TRsformer就是为了回答这个问题而诞生的。而且它的做法并不是只是直接用transformer结构将传统目标检测网络中的backbone给替换了，它还提出了一种基于set prediction的目标检测新思路。原论文地

很久以前科学家做过一个生物实验，发现视觉神经元同样可以被训练来作听觉神经元之用。受此启发，不少计算机研究者也在寻找着机器学习领域的大一统–将CV任务和NLP任务使用相同或者类似的结构进行建模。随着transformer在nlp领域已经杀出了一片天，便有研究者想用它来进军cv领域。Vit，vision transformer正是在此道路上跨出的一大步。transformer是世界上最好的结构！（误）原文地址VIT整体结构论文中的结构图还是十分简单易懂的，相信如果之前接触过Transformer系列

这里写自定义目录标题一、transformer整体结构二、why Transformer三、Transformer逐层剖析1.Encoder 编码器词嵌入位置编码多头注意力机制层注意力机制多头encoder总结2.Decoder 解码器解码器输入mask机制双多头注意力机制输出至今，transformer结构的网络可以说已经占据了RNN领域的大半壁江山，在各大RNN竞赛中基本都出现了霸榜的情况。本文主要作transformer的开山之作《Attention is All you Need》的解读.一、