Transformer在计算机视觉领域，到底是不是顶流？

Transformer是一种新型的神经网络架构，用于处理多种感知模态数据（如图像、文本、音频等）等。它的出现，不仅让NLP变了天，成为自然语言领域的主流模型，还成功跨界CV，给AI界带来了意外的惊喜。

我们邀请到哈工大计算机博士，多篇顶会一作作者李老师为大家带来——引爆顶会的transformer进阶之路，深入探索研究人员是如何改进和扩展这一架构的。

扫码免费参与课程

赠导师推荐100+多模态论文&ppt原稿

2023年transformer论文部分展示

讲师简介：李老师

-哈尔滨工业大学计算机PhD

-发表多篇SCI国际期刊和会议论文，包括一区期刊IEEE Transactions on Circuits and Systems for Video Technology, 二区期刊Neurocomputing，CCF-A类会议 ACM MM， CCF-B类会议ICME, ICASSP等

-担任国际顶级会议 AAAI, NeurIPS，期刊 IEEE TCSVT 的常任审稿人

-研究领域：人工智能、机器学习、深度学习、多模态表征学习、脉冲神经网络和信源信道联合编码等

课程大纲

1、transformer早期应用及现在的应用

2、transformer五大发展方向

3、transformer的应用场景

4、未来可发展的领域

扫码免费参与课程

赠导师推荐100+多模态论文&ppt原稿

2023年transformer论文部分展示

在Transformer之前，处理序列到序列任务（输入和输出都是序列，e.g.机器翻译）通常使用RNN（LSTM，GRU等），而RNN的运算机制会导致一些问题：

1.在每个时间点t时的计算依赖于前t-1个时间点的输出，限制了模型的并行计算能力；

2.由于是RNN是顺序计算，所以无法解决长序列的依赖关系。

Transformer通过一种名为注意力的机制，很好地解决了上述两个问题，Transformer整体结构如下所示。

Transformer 历史上的一些关键发展事件及进阶方向，我们可参考如下所示：

1990年：Jürgen Schmidhuber 提出了第一个 Transformer 模型，即"快速权重控制器"。

2017年：Vaswani 等人发表了论文《Attention is All You Need》，介绍了 Transformer 模型的核心思想。

2018年：Transformer 模型在各种 NLP 任务中取得了最先进的结果，包括机器翻译、文本摘要和问答等。

2019年：Transformer 被用于创建大型语言模型（LLM），例如 BERT 和 GPT-2，这些模型在各种 NLP 任务中取得了重要突破。

2020年：Transformer 继续被用于创建更强大的模型，例如 GPT-3，它在自然语言生成和理解方面取得了惊人的成果。

1. 模型规模的扩展

Transformer的一个重要方向是通过增加模型的规模来提高性能。目前，研究人员已经提出了各种方法来增加Transformer模型的层数、隐藏单元的维度以及注意力头的数量。这样的扩展可以提高模型的表示能力，从而在更复杂的任务上取得更好的结果。

2. 预训练和微调

预训练和微调是Transformer的另一个重要方向。预训练阶段使用大规模的无标签数据来学习语言模型，然后通过微调阶段在特定任务上进行训练。这种方法在许多自然语言处理任务中取得了显著的性能提升，并且已经被广泛应用。

3. 多模态Transformer

除了自然语言处理任务，Transformer还可以应用于多模态任务，如图像描述生成和视频理解。研究人员正在探索如何将Transformer扩展到处理多种类型的输入数据，并在多个领域中实现更好的性能。

4. 改进注意力机制

Transformer中的注意力机制是其核心组成部分之一。目前，研究人员正在改进和优化注意力机制，以提高模型的效率和性能。例如，一些研究提出了稀疏注意力机制和自适应注意力机制，以减少计算成本并提高模型的泛化能力。

5. 解决长文本处理问题

传统的Transformer在处理长文本时可能会面临内存和计算资源的限制。为了解决这个问题，研究人员提出了一些改进方法，如长文本编码器和分层注意力机制，以便更好地处理长文本序列。

对于想要发表论文，对科研感兴趣或正在为科研做准备的同学，想要快速发论文有两点至关重要！

1.紧跟风口。

想发文章最容易的方法就是紧跟风口，顺着领域内的研究趋势确定自己的方向，毕竟在热门领域内，创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导

大家都在努力的设计新网络、新策略、新training算法，只要能够在某一问题上做到一个很好的performance，论文就水到渠成。而想要快速达到，来自前辈的指点不可或缺。

所以，要解决的问题就是

1.找到风口

2.找到领域内的大神做导师

扫码二维码

免费与大牛导师1v1meeting

对于还没有发过第一篇论文，还不能通过其它方面来证明自己天赋异禀的科研新手，学会如何写论文、发顶会的重要性不言而喻。

发顶会到底难不难？近年来各大顶会的论文接收数量逐年攀升，身边的朋友同学也常有听闻成功发顶会，总让人觉得发顶会这事儿好像没那么难！

但是到了真正实操阶段才发现，并不那么简单，可能照着自己的想法做下去并不能写出一篇好的论文、甚至不能写出论文。掌握方法，有人指点和引导很重要！

还在为创新点而头秃的CSer，还在愁如何写出一篇好论文的科研党，一定都需要来自顶会论文作者、顶会审稿人的经验传授和指点。

很可能你卡了很久的某个点，在和学术前辈们聊完之后就能轻松解决。

右滑查看近期学院中稿部分展示

文末福利

小沃整理了沃恩智慧联合创始人Paul老师的精品系列付费课程，原价3999元，现0元免费领，包含计算机领域各方向热点内容及论文写作技巧干货！

立即扫码 赠系列课程

-END-