2024年，还能靠爆火的transformer发顶会吗？

最新推荐文章于 2024-11-07 15:58:54 发布
最新推荐文章于 2024-11-07 15:58:54 发布
阅读量326 收藏
点赞数
文章标签： transformer 深度学习 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247617455&idx=1&sn=6a3b018b7dfa296f0d53da2149add45e&chksm=fa34829d65152fd59acc26bb5ba6745fe787e1b21fb9ea2def59cde05802ad4ebd800d524e93&scene=126&sessionid=0
版权

Transformer模型，作为深度学习领域中的一次重大突破，为自然语言处理（NLP）领域的发展注入了新的活力。ChatGPT和Sora这两个应用便是Transformer强大能力的生动体现，它们分别将Transformer应用于对话生成和文本到视频的转换，展现了Transformer的广泛适用性和巨大潜力。

我们邀请到英国某名校博士，top一区期刊最佳论文获奖者Henry老师为我们带来——引爆顶会的transformer变革之路，带我们深入探讨Transformer的前世今生，揭示它如何成为ChatGPT和Sora这些突破性工作的核心和基石。

扫码参与课程

领导师亲自整理transformer论文合集&ppt原稿

15f8ba2f0cd490283a6584118863e8ad.png

973caac45bac735f9cef4a05616ba59b.gif

transformer论文部分展示

导师简介：Henry老师

· 英国某QS排名60高校博士，本硕均毕业于国内985高校。

· 研究领域涵盖深度学习及其在计算机视觉、遥感图像处理和离岸可再生能源三大方向的应用，特别是CNN、注意力机制和视觉Transformer在图像分割、超分辨率、尾流建模、地物分类和遥感图像去云等任务的应用

课程大纲

第一节：Transformer模型的历史发展及优势

第二节：Transformer的核心思想、结构及机制 

第三节：Transformer在计算机视觉中的应用 

fc254a4962df03f88b8c3654835e62ce.jpeg

扫码参与课程

领导师亲自整理transformer论文合集&ppt原稿

94f8c983b590267c0bcc5e4a2efbbca5.png

Transformer的诞生

Transformer模型最早由Google Brain团队在2017年提出，并发布在论文《Attention is All You Need》中。

d4c49eca579a38d524d8ac7253331a51.png

Transformer的结构

Transformer的核心思想是自注意力机制（Self-Attention），它允许模型在处理输入序列时将注意力集中在序列中不同位置的不同部分。

ad678a1518a8929ae50d22985f9298b7.png

Transformer在计算机视觉中的应用

除了在自然语言处理领域取得巨大成功外，Transformer模型也在计算机视觉领域展现出了强大的潜力。特别是在图像生成、图像分类和目标检测等任务中，基于Transformer的模型已经取得了令人瞩目的成绩。

286bba330eff1252bdbd3eaf6fad4fad.png

扫码参与课程

领导师亲自整理transformer论文合集&ppt原稿

67daff50d0f193eacd5e9881f9e4d225.png

谷歌终于更新了Transformer架构。

最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计算模式。

它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。

结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。

a4a4559e33ada647a8b4993b12bf99a3.jpeg

对于想要发表论文，对科研感兴趣或正在为科研做准备的同学，想要快速发论文有两点至关重

对于还没有发过第一篇论文，还不能通过其它方面来证明自己天赋异禀的科研新手，学会如何写论文、发顶会的重要性不言而喻。

发顶会到底难不难？近年来各大顶会的论文接收数量逐年攀升，身边的朋友同学也常有听闻成功发顶会，总让人觉得发顶会这事儿好像没那么难！

但是到了真正实操阶段才发现，并不那么简单，可能照着自己的想法做下去并不能写出一篇好的论文、甚至不能写出论文。掌握方法，有人指点和引导很重要！

还在为创新点而头秃的CSer，还在愁如何写出一篇好论文的科研党，一定都需要来自顶会论文作者、顶会审稿人的经验传授和指点。

很可能你卡了很久的某个点，在和学术前辈们聊完之后就能轻松解决。

扫描二维码

与大牛导师一对一meeting

d330d5ada2f1921b8f3cc0c24fac7ddf.png

文末福利

给大家送一波大福利！我整理了100节计算机全方向必学课程，包含CV&NLP&论文写作经典课程，限时免费领！免费送GPU！

60e16c00809df8af8dbde9e3e3ff1a1c.jpeg

9ff2014d0511723f235c5350fd8276dc.png

7b64e5847ee30848727e7b018352f539.png

立即扫码 赠系列课程

-END-

爆火的Sora背后是什么？有哪些应用？首篇Sora综述来了！
3D视觉工坊
03-09 593
Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜力。基于公开的技术报告和逆向工程，本文对该模型的背景、相关技术、应用、尚存挑战以及文本到视频人工智能模型未来发展方向进行了全面审查。我们首先追溯了Sora的发展历程，并调查了用于构建这个"世界模拟器"的基础技术。然后，我们详细描述了Sora在从电影制作、教育到营销等多个行业中的应用和潜在影响。
CVPR和其他2024顶会论文阅读（资源整理【1】）
最新发布
cnjs1994的博客
12-05 1279
总结了一些今年视觉方向的顶会论文，后续会继续完善！
2024 年1月12日最热NLP大模型论文：Transformers are Multi-State RNNs
夕小瑶科技说
01-12 1209
在自然语言处理（NLP）的领域，Transformer架构自2017年提出以来，已经成为了一种主流的模型，它在多种任务中取得了前所未有的成功。与此同时，循环神经网络（RNN）这一曾经的主流架构逐渐被边缘化。然而，本文的研究提出了一个颠覆性的观点：即使Transformer在概念上与RNN有所不同，但在某些情况下，仅包含解码器的Transformer实际上可以被视为一种无限多状态的RNN（MSRNN）——一种具有无限隐藏状态大小的RNN变体。
玩转大模型之学习笔记 | Transformer，一个神奇的算法模型
Kenji_Shinji的博客
03-15 1152
我的研究方向是显著性目标检测，毕业论文方向是基于Transformer的显著性目标检测研究，随着Transformer机制在自然语言方向逐渐取得巨大突破，有很多学者都把目光投向了计算机视觉方向，显然Transformer在计算机视觉方向也有巨大进展，带着这样的学习目的，我参加了昇思MindSpore技术公开课，希望对Transformer有一个更加深刻而全面的认识，可以更好地开展我的毕业设计。注意力机制的基本思想是在处理输入序列时，不同位置的信息被赋予不同的权重，以便网络更集中地关注对当前任务有用的部分。
（2024，扩展Transformer和数据，SDXL，SD2，DiT与 UNet）基于扩散的文本到图像生成的可扩展性
qq_44681809的博客
04-19 2099
​本文对去噪骨干和训练集进行消融实验，发现增加 Transformer 块对于改善文本-图像对齐比增加通道数量更具高效。在数据扩展方面，训练集的质量和多样性比数据集大小更重要。增加标题密度和多样性可提高文本-图像对齐和学习效率
基于计算机视觉的 Transformer 研究进展
sinat_41942180的博客
10-31 2013
目前，基于的图像分类研究大致可以分为 iGPT和ViT系列，本小节对部分图像分类方法从参数量和 Top1上的准确率进行了对比，如表2所示，“-”表示没有相关数据。此外，分析了数据集的大小对模型性能的影响，类比了 BiT和ViT的多个变体，如图9所示。表2部分图像分类方法对比iGPT 是 Transformer首次直接应用于图像分类的模型，它本身不含卷积网络，并且在 CIFAR-10和 CIFAR-100 数据集上优于如 ResNet 等 CNN 模型。
AAAI | 达摩院联合华科开源基于Transformer的零样本学习框架TransZero
孙佰贵的专栏
02-22 4597
本文介绍零样本学习框架TransZero。零样本学习 (ZSL) 旨在通过将语义知识从已见类迁移到未见类来识别新类。语义知识是从不同类别之间共享的属性描述中学习的，这些属性描述作为定位代表判别区域特征的对象属性的强先验，实现了重要的视觉语义交互。尽管一些基于注意力的模型试图在单个图像中学习此类区域特征，但视觉特征的可转移性和判别性属性定位通常被忽略。在本文中，我们提出了一个属性引导的 Transformer 网络，称为 TransZero，以细化视觉特征并学习 ZSL 中判别视觉嵌入表示的属性定位。
顶会新热门：小波变换×Transformer，效率翻倍的AI图像去噪神奇组合
YunTM的博客
11-07 2143
小波变换与Transformer的结合主要探讨如何利用小波变换的多尺度特性来增强Transformer在处理信号和图像数据时的表现。具体来说，小波变换能够有效提取信号中的局部特征，并在时间和频率域上提供信息，这对于处理复杂的信号（如图像和音频）非常有用。结合小波变换的Transformer可以在保持相对较低的参数数量的同时，显著扩展感受野。这种参数效率使得模型在处理大规模数据时更加高效，减少了计算成本。提供更好的效率与准确率的平衡。论文原文+开源代码需要的同学关注“AI科研论文”公号，那边回复“
发顶会首选：具身智能！新成果直接霸榜CVPR
学姐带你玩AI的博客
08-29 1439
最近无论是斯坦福机器人炒虾，还是特斯拉官宣机器人进厂，都赚足了眼球，实力证明了具身智能的火爆。先不说具身智能是实现AGI的关键环节，也是未来研究的重要方向，我们就从发论文的角度来看，，可见入局具身智能早已成了必然趋势。。如果大家想冲顶会，建议从这四个角度入手，我这边也整理了给各位参考，都是2024年最新，包括CVPR、ECCV、ICML等。另外我还准备了，以及规模达到三百万的具身大规模数据集，帮大家搞定数据太贵/不够的问题。论文原文+开源代码需要的同学看文末。
2024 RSS机器人顶会论文奖项汇总
boboelec的博客
08-05 1123
研究者通过全面的真实世界实验证明了 UMI 的多功能性和有效性，在这些实验中，通过 UMI 零射频学习到的策略在不同的人类演示训练中可泛化到新的环境和物体。这个问题难以解决的原因是测距数据是在不同时间接收到的，而运动估计中的误差会导致所得到的点云的错误配准。这些经过训练的模块可以直接应用到现实世界中，配合机器人自身的感知和计算能力，无论机器人是在室内还是受限的室外空间，无论是面对不会动的还是能动的障碍物，都能在 ABS 框架下快速、安全地行动。其次，需要让 LLM 的判断能够融入到机器人的安全控制系统中。
【IJCAI2024】LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens
OUC的搬砖日常
06-28 618
为此，作者提出了下图所示的框架。值得注意的是，网络的浅层使用的是cross-attention，深层使用的是自注意力（作者解释是自注意力的性能更高）。自然图像上的实验结果表明，学习到的 meta token 可以很好地关注图像中的目标，有助于提高分类精度。由于相邻像素和图像块之间的高度相关性，以及遥感图像中纹理和模式的重复性质，存在大量的空间冗余。如下图所示，ViT 中的自注意力机制计算每两个图像块之间的相似性，相似的token对特征表示的贡献很小，但消耗了大量的计算负载，影响了模型性能。
【深度学习】表情识别A Dual-Direction Attention Mixed Feature Network for Facial Expression Recognition
q742971636的博客
03-19 2960
代码：https://github.com/simon20010923/DDAMFN/tree/main此算法是当前的第一名：https://paperswithcode.com/paper/a-dual-direction-attention-mixed-feature面部表情在人类交流中起着重要作用，是理解情绪和态度的关键信号。因此，计算机需要获得辨识和解释面部表情的能力。[1–3]已经清楚地阐明了视觉感知、环境映射算法与基于生物识别认证计算机视觉的面部表情识别（FER）之间的关系，因此使用深度学习方法
TransFER: Learning Relation-aware Facial Expression Representations with Transformers--2021.Fanglei
xu.hyj
09-19 2137
CNN在提取特征时，通过随机丢弃推动模型去学习更多不同地特征（类似不把鸡蛋放同一个篮子里），这样在脸部转动或不同类别间，能够找到更多更有区分度地特征，帮助更好分类。 CNN提取的多种特征，需要更好的联系起来才能完成分类，本文借鉴Transformer的强大全局注意力能力，探索CNN提取的不同局部特征间的关系，从而实现更好的分类。 注意：无论是CNN探索更多局部特征，还是Transformer中探索更多局部特征间的联系，都是使用了dropping思想，打破明显的、固有的特征和联系，从而推动学习更多特征和联系。
Transformer在计算机视觉领域的研究综述
sinat_41942180的博客
10-26 5144
本文介绍了视觉 Transformer 模型基本原理和结构,分别从面向性能优化和面向结构改进两个方面对视觉 Transformer 的关键研究问题和最新进展进行了概述和总结,同时以图像分类和目标检测为例介绍了Transformer 在视觉任务上的应用情况。视觉 Transformer 作为一种新的视觉特征学习网络 ,文中结合CNN 对比总结了两种网络结构的差异性和优缺点,并提出了 Transformer+CNN 的混合结构。
表情识别论文调研
weixin_44350672的博客
12-18 3329
其次，在峰值帧下，提出了一种耦合局部和全局信息的联合特征学习架构来进行MEs(微表情识别)，因为并非所有区域对MEs的识别都有相同的贡献，有些区域甚至不包含任何情感信息。提出了一个全局和局部特征融合（GLFF）框架，通过将来自整个图像的多尺度全局特征与来自信息块的局部特征相结合，来学习丰富和有区别的表示，用于人工智能合成图像检测。本文提出了一种新的端到端面部表情合成方法，称为两级级联结构的局部和全局感知生成对抗性网络（LGP-GAN），用于提取和合成关键面部区域的细节。提出了一个新的数据集F2ED。
Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network--Shervin Minaee
xu.hyj
09-24 1679
本文作者尝试用比较小的CNN来进行表情识别，作者使用4个卷积层和spatial transformer作注意力分类，实现不超过10层的网络，并且在FER2013上取得了70%的精度，这对于本文这样一个很小的网络来说非常不错了。除此之外，作者还在CK+、JAFFE和ERG上面做了验证实验，结果都很不错。
ICLR 2024 时间序列相关最新论文汇总，涉及transformer、GNN、大模型等热门领域
学姐带你玩AI的博客
01-21 6931
ICLR（International Conference on Learning Representations），国际公认的深度学习顶会之一，与AAAI、CVPR、ACL和NIPS等老牌学术会议齐名，由图灵奖巨头Yoshua Bengio和Yann LeCun牵头举办，在人工智能、统计和数据科学以及计算机视觉、语音识别、文本理解等多个重要应用领域中都发表了众多极其有影响力的论文。本届ICLR 2024会议共收到了7262篇论文，整体接收率约为31%，与去年（31.8%）基本持平。
ICML 2024 | Transformer究竟如何推理？基于样例还是基于规则
Paper weekly
06-29 199
©作者 |胡逸单位 |北京大学研究方向 |图机器学习论文标题：Case-Based or Rule-Based: How Do Transformers Do the Math?论文地址：https://arxiv.org/abs/2402.17709项目主页：https://github.com/GraphPKU/Case_or_RuleCase-based or rule-base...
ICLR2024 | DiffTF：基于 Transformer 的大词汇量高质量 3D 物体生成框架
我爱计算机视觉
01-29 246
关注公众号，发现CV技术之美在 ICLR2024 上，由南洋理工大学-商汤联合研究中心 S-Lab，香港中文大学，及上海人工智能实验室等合作提出了一种基于扩散模型的大量类别 3D 物体生成框架(Large-Vocabulary 3D Diffusion Model with Transformer)，克服了三个主要挑战：a)3D 生成需要高效且表达力强的 3D 表示，b)3D 物体拥有丰富多样的几...
原始的 Transformer 有残差吗？
09-07
原始的 Transformer 模型确实使用了残差连接。这种连接是通过在每个子层之后添加一个残差路径来实现的，即将子层的输入与子层输出相加。这有助于提高模型的训练和优化能力，减轻梯度消失的问题，并使模型更容易学习长距离依赖关系。残差连接是 Transformer 模型中的关键组成部分，也是其成功的重要因素之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值