【论文速读#190】最新AI方向BiFormer做了什么？如何改进Transformer？【分块，降低计算量和内存占用量】

于 2024-07-22 17:56:00 发布
阅读量80 收藏 2
点赞数 1
分类专栏： 【论文速读】 文章标签： 人工智能 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/140615986
版权

文章目录

from: https://www.youtube.com/watch?v=EsQba3t7Qnk

BiFormer，2023 CVPR，解决Transformer内存占用多，计算量大的问题

在这里插入图片描述

方法：可以看作是结合b和e，分块降低计算量

【自带survey，降低Transformer计算量迭代很快，避开这个方向，看看就行！】

在这里插入图片描述

实验效果

在这里插入图片描述

方法解释：

最原始的Transformer

在这里插入图片描述

本文：只取topK，代码，还加了dwconv

在这里插入图片描述
在这里插入图片描述

实验结果

在这里插入图片描述

模块堆叠

在这里插入图片描述
在这里插入图片描述

接深度学习联系丝信
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文速读Backbone系列一：点云Transformer结合、PointNet++改进、点云卷积核设计
Clichong
12-07 2797
如有错误，恳请指出。对一些经典论文进行快速思路整理，以下内容主要关注的是3d点云的backbone设计，包括transformer的应用，卷积核的设计，PointNet++网络的改进。1）提出Offset Atention，在原本的self-attention中的LBR(Fa)改为LBR(Fin-Fa)，同时魔改了norm方法。其中这里的Fin是原始点特征，Fa是进行self-attention变换之后的特征 2）提出Neighbor Embedding，利用attention可以捕获全局特征但是缺少局部特
速读测试：测试自己！ 你读多快？
02-19
速读测试描述一个有趣的小应用程序，用于测试阅读速度。 文本将开始在屏幕上闪烁，并逐渐增加速度。 一旦感觉到速度太快，请单击“停止”按钮，然后找出速度！ 下图显示了该应用程序的概况：入门这是一个简单的应用...
Transformer模型特辑
yuetan的博客
07-11 852
开始训练一个大模型之前，根据scaling law来估算，有多少数据，需要多少算力，要计算多少时间。装载模型，假如模型的参数是以FP16来计算的（A100之后BF16的居多，防止计算的时候上溢出）7B的话，静态显存占用量，指模型的所有参数被load到显存里，如果以BF16的话，要占据14个G。2) = 8BSH**2 + 4BHS **2，乘以2是因为神经网络计算一次加法 一次乘法。反向求导的时候，Loss算梯度得到新weight然后更新，所以是前向计算的两倍，乘以4。
【论文速读】解码器-解码器架构 YOCO，《You Only Cache Once: Decoder-Decoder Architectures for Language Models》
bylander的博客
07-04 1101
文章为大型语言模型引入了一个解码器-解码器架构 YOCO，它只缓存一次键值对。它由两个组件组成，即堆叠在自解码器上的交叉解码器。自解码器有效地对全局键值 （KV） 缓存进行编码，交叉解码器通过交叉注意力重用这些缓存。整个模型的行为类似于仅解码器的 Transformer，尽管 YOCO 只缓存一次。该设计大大**降低了 GPU 内存需求，同时保留了全局注意力能力**。此外，计算流程可以在不改变最终输出的情况下提前预填充，从而显著加快预填充阶段。实验结果表明，YOCO在模型规模和训练令牌数量等各种设置下均比T
七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
结构之法 算法之道
11-02 1万+
如此前这篇文章《》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣。原因在哪呢？
KDD‘22推荐系统论文梳理(24篇研究&36篇应用论文)
公众号/知乎: AI算法札记，欢迎关注交流
08-07 4481
KDD' 22已公布录用论文，接收254篇/投稿1695篇，录用率为14.98%。经过两个月的速读，终于把2022年已公布的推荐系统相关顶会梳理一遍，暂时只剩KDD (很快CIKM也将公布，欢迎关注，及时获取最新分享) ，其他会议的论文可以参考公众号或知乎的文章。本文对**Research Track**推荐系统相关的**24篇**论文和**ADS Track**推荐系统相关的**36篇**论文进行分类整理。整理不易，欢迎点赞收藏关注，一起交流学习。...
预训练模型之BERT、Transformer-XL、XL-Net等
Iron_lyk Blog
04-30 1658
对于语言序列。
AI论文速读 | 计时器（Timer）：用于大规模时间序列分析的Transformer
suzukiwudi的博客
03-13 1411
深度学习对时间序列分析的进步做出了巨大贡献。尽管如此，深度模型在现实世界的小样本场景中仍可能遇到性能瓶颈，而这种瓶颈可能由于当前基准测试中小模型的性能饱和而被掩盖。同时，大型模型通过大规模预训练在这些场景中展现了强大的威力。随着大型语言模型的持续发展，大模型在少样本泛化（few-shot generalization）、可扩展性（scalability）和任务通用性（generality）方面展现出前所未有的能力，而这是时间序列模型所不具备的。
大模型训练和推理
weixin_45325331的博客
02-27 2387
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
国内外AI大模型发展概况
python12222_的博客
06-03 1062
随即引爆社交网络，大模型行业进入加速发展阶段。国外基础模型实力强劲、不断精 进，开源模型打造庞大应用生态，端侧模型小而美。国内大模型也进入加速成长期，在过去一年中取得了实质性突破。百度文心一言、 讯飞星火、清华智谱、商汤“日日新”整体表现逼近，开源模型快速进步，文生视频、文生音乐等多模态 也取得突破。国内大模型网页流量和应用下载量节节攀升，大模型已经成为日常生活中的重要助手。**。国外大模型主要分为三个层级：性能强劲的闭源模型，具备生态优势的开源模 型，以及专注端侧应用的轻量模型。
2021深度学习目标检测综述
热门推荐
AI数据工厂
05-21 3万+
2021年，目标检测最新综述。包括：两阶段、一阶段检测器以及轻量网络的的发展历程。
网络游戏当道 传统游戏遇冷——信息时代的孩子该玩什么？.pdf
10-11
以下是一些关于提升脑力和培养孩子全面发展的建议： 1. 健康饮食：良好的营养摄入对大脑发育至关重要。研究显示，早餐质量直接影响大脑功能，特别是记忆力和注意力。高蛋白的食物，如豆类，是大脑的理想能源。避免...
他用GPT-3实现了「量子速读」
04-06
话说，有人还真就由此思路开发出一个聊天Bot，做示例的书是马可·奥勒留的《沉思录》（全书共12卷，497则）。 只用几分钟，AI就能记下全书内容。 然后随便问个书里讲过的东西，比如“如何处理负面情绪？”，AI可以...
全脑速读记忆 全脑速读记忆训练系统 v1.6.0
10-27
全脑速读记忆训练系统是一款专门设计用于提升用户阅读速度和记忆力的软件，版本号为v1.6.0。该系统集成了多种训练课程，适用于不同阶段的学习者，包括小学生、中学生、大学生以及考研人群，旨在通过科学的训练方法...
速读训练工具
04-04
标题中的“速读训练工具”指的是专门用于提升阅读速度和理解能力的应用软件。在现代信息爆炸的时代，提高阅读效率成为了非常重要的技能。速读训练工具通常包含一系列的训练方法和练习，帮助用户通过技巧性的训练，如...
基于语音识别的会议记录系统
最新发布
qq_51688022的博客
07-18 1269
本文简要介绍了本科毕设“基于语音识别的会议记录系统”的开发思路与成果
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 847
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 453
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
自动驾驶系列—智能巡航辅助功能中的车道变换功能介绍
u013889591的专栏
07-17 1121
在现代智能驾驶技术中，智能巡航辅助的车道变换功能是提高驾驶安全性和便利性的关键特性。该功能通过摄像头、传感器和高级算法，使车辆能够在驾驶员的指令下安全地进行车道变换。本文将详细介绍车道变换功能，从背景、功能定义、原理、传感器架构、实际应用案例以及总结与展望几个方面进行阐述。智能巡航辅助功能介绍。随着自动驾驶技术的快速发展，车道变换功能已成为智能驾驶系统中的重要组成部分。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值