token压缩最新论文更新

最新推荐文章于 2024-09-09 23:51:40 发布
最新推荐文章于 2024-09-09 23:51:40 发布
阅读量37 收藏
点赞数 2
文章标签： 深度学习 token压缩 vlm 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daixiangzi/article/details/142064377
版权
dxz_tust
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[论文笔记]Prompt Tuning
日积月累，天道酬勤
09-21 1052
⭐ 本篇工作提出了提示微调，一种仅微调在输入前添加的连续嵌入向量的高效微调方法，在模型规模足够大的情况下达到了媲美传统模型微调的性能。
浙大、蚂蚁等提出TokenPacker，多模态大模型中的高质量视觉token压缩方法原创
人工智能曾小健
08-11 317
（3）此外，为了能够包含更丰富全面的视觉表达，我们引入了 CLIP-ViT-L 多层特征信息。对于综合理解的 MMMU、MME 指标下，我们的方法在 1088x1088 的分辨率下取得了最好的性能，分别为 38.8 与 1595/356，较大幅度领先 LLaVA-NeXT 与 Mini-Gemini-HD，而视觉 token 个数约为这些方法的 1/3，可大幅提升模型效率。（1）首先，将来自视觉编码器（ViT-L）的视觉特征 下采样，得到输入图像的低分辨率、粗糙的特征表示 ，其中 ， 为下采样倍数。
【解析】Token to Token Vision Transformer
绿色羽毛
04-24 4134
介绍 Vision Transformer!的提出让我们看到了Transformer模型在图像方向的潜力，但其有一些缺点，如需要超大型数据集（JFT）预训练，才能达到现在CNN的精度。本文分析了ViT的一些不合理之处： 直接将图片分块展开成一维向量 不利于对图片结构信息（如边缘，线条）建模 冗余的Attention模块限制了特征表达，并带来运算负担 基于上述两点，本文提出Tokens to Token Transformer，采用类似CNN中卷积划窗的方式，将相邻的tokens局部聚合起来，有助于建模局
大模型（LLM）的token学习记录-I
penriver的博客
02-27 2425
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是 LLM 进行处理的最小单元。根据所使用的特定标记化【Tokenization】方案，token可以表示单词、单词的一部分，甚至只表示字符。采用的方案由模型的类型和大小决定token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。模型理解这些token之间的统计关系，并擅长做token的接龙token化是将输入和输出文本分割成可以由LLM AI模型处理的较小单元的过程。
跨模态检索2023年最新顶会论文汇总
zag666的博客
06-22 3134
我们的实验验证了我们的检索增强对比性（RECO）训练在几个具有挑战性的细粒度任务上大幅提高了CLIP的性能：例如，在斯坦福Cars上+10.9，在CUB-2011上+10.2，在最近的OVEN基准上+7.3。在本文中，我们提出了一种新的图像文本检索技术，被称为鲁棒的视觉语义嵌入（RVSE），它由新的基于图像和文本的增强技术组成，称为图像语义保护增强（SPAugI）和文本增强（SPAugT）。在全局和局部跨模态混合相似性的基础上，所提出的方法实现了最先进的检索性能，与最近的代表性方法相比，推理时间极短。
论文阅读HTS-AT- A HIERARCHICAL TOKEN-SEMANTIC AUDIO TRANSFORMERFOR SOUND CLASSIFICATION AND DETECTION
chumingqian的博客
08-26 791
关于论文的中文阅读参考这里： https://blog.csdn.net/ggqyh/article/details/136098693；代码： https://github.com/RetroCirce/HTS-Audio-Transformer这里主要罗列出作者回答 关于音频事件定位的相关问题：https://github.com/RetroCirce/HTS-Audio-Transformer/issues/25； 是的，这个函数是一个临时函数，你可能知道 AudioSet 去年发布了一个带有强大本地
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1347
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
百川2-大模型-论文笔记
ding_zhikai的博客
11-21 863
baichuan2 开源大模型，论文阅读笔记
NeurIPS 2020 | MiniLM：通用预训练模型压缩方法
ljp1919的专栏
11-17 2098
摘要 这里尝试通过一问一答的方式来简介MiniLM。 Q： 这篇文章要解决什么问题？ A：预训练模型的低效问题。预训练模型过大的话，有2个弊端：(1)推理速度慢(2)内存空间占用大。 Q： 文章如何解决上述问题？ A： 提出了一种通用的面向Transformer-based预训练模型压缩方法：MiniLM。MiniLM有3个核心点： (1)蒸馏teacher模型最后一层Transformer的自注意力模块 (2)在自注意模块中引入值之间的点积 (3)引入助教模型辅助模型蒸馏 Q：文章方案最终效果如何？ A：
Transformer论文笔记4----采用最大池化压缩模型参数量（不含class token）
qq_40616042的博客
05-27 949
论文：Scalable Visual Transformers with Hierarchical Pooling ViT保持patch序列全长度，这使得信息冗余，缺乏层级特征表示。因此提出一种Hierarchical Visual Transformer，采用渐进的池化token压缩序列长度，减少计算损失，类似于CNN中的特征图下采样，本文没有采用class token ,而是采用平均池化代替单一的class token，实验表明，平均池化更能获取位置信息。 背景： 自注意力你能够捕获长距离依赖，但是tr
Transformer论文笔记3----卷积池化操作用于提高空间交互率和尺寸缩放，全连接class token
qq_40616042的博客
05-27 2114
Rethinking Spatial Dimensions of Vision Transformers https://github.com/naver-ai/pit 借鉴CNN的空间维度转换思想，随着网络加深，通道数增加，空间维度减少。 提出Pooling-based Vision Transformer (PiT)，实验表明PiT提高了模型性能和泛化能力，在图像分类，目标检测和鲁棒性评估表现良好。 CNN有限空间的位置交互，ViT允许所有位置通过transformer layer进行交互。同时，CNN
深度学习中常见的损失函数
hallo128的博客
09-09 143
损失函数是衡量神经网络输出与真实标签之间差距的指标。在训练过程中，神经网络的目标是最小化损失函数的值。常见的损失函数包括均方误差（MSE）损失函数、交叉熵（Cross-Entropy）损失函数等。损失函数的选择取决于任务的需求和输出数据的类型。这些损失函数各有特点，适用于不同的场景和问题。在实际应用中，需要根据具体任务和数据集的特点来选择合适的损失函数。
Transformer、RNN和SSM的相似性探究：揭示看似不相关的LLM架构之间的联系
deephub
09-09 491
本文深入探讨了Transformer、循环神经网络（RNN）和状态空间模型（SSM）之间的潜在联系。文章首先回顾了传统的掩码自注意力机制，然后引入了线性化注意力的概念，解释了其计算效率优势。接着探讨了注意力掩码的优化，引入了半可分离矩阵的概念，并阐述了其与状态空间模型的关系。最后介绍了状态空间对偶性，揭示了特定状态空间模型与掩码注意力之间的对应关系。通过这些分析，展示了看似不同的模型架构之间存在深层联系，为未来模型设计和跨架构思想交流提供了新的视角和可能性。作者：Stanislav Fedotov。
每天五分钟玩转深度学习PyTorch：获取神经网络模型的子网络模型
最新发布
huanfeng_AI的博客
09-09 38
本文主要为第二步（模型搭建）和第六步（优化器）服务，因为子网络是网络模型的一部分，我们如何获取自网络，需要了解网络的模型结构，然后再优化器部分我们需要获取指定网络模型部分的模型参数，所以本节课程很重要。
《深度学习》【项目】OpenCV 信用卡号识别
wx_AHao1004Y的博客
09-09 885
命令行参数自定义命令行参数是指在编写命令行程序时，由程序开发者定义并期望用户通过命令行界面（CLI）输入的参数。这些参数允许用户向程序传递额外的信息或配置，以便程序能够根据这些信息执行不同的操作或行为。在Python中，使用argparse模块可以方便地定义和解析自定义命令行参数。argparse模块提供了丰富的功能来定义参数的类型、默认值、是否必需等属性，并能够在用户没有按预期提供参数时给出友好的帮助信息。1）位置参数（Positional Arguments）位置参数是按照位置顺序提供的参数。
【深度学习】【onnxruntime】C++调用onnx
yangyu0515的博客
09-09 842
【深度学习】【onnxruntime】C++调用onnx
李沐深度学习 自制数据集
qq_54206667的博客
09-09 63
'.'生成在当前目录中。
[【人工智能学习笔记】4_3 深度学习基础之卷积神经网络
RIKI_1
09-09 456
卷积神经网络（Convolutional Neural Network, CNN）一种带有卷积结构的深度神经网络，通过特征提取和分类识别完成对输入数据的判别；在1989年提出，早期被成功用于手写字符图像识别；2012年更深层次的AlexNet网络取得成功，伺候卷积神经网络被广泛应用于各个领域。
token + redis 过期更新
09-06
在Redis中，使用token来管理过期时间是一种常见的做法。当客户端请求服务时，服务器会生成一个唯一的token，并将其存储在Redis中作为key，同时存储一些与token相关的信息，如用户ID、过期时间等作为value。通过设置过期时间，可以有效地控制token的生命周期并提升系统的安全性和性能。 当一个token过期时，服务器会检查其是否存在于Redis中。如果存在，则说明该token还在有效期内，服务器可以继续验证请求，并更新token的过期时间，延长其有效期。这样做的好处是避免了频繁地向数据库查询token信息，降低了系统的负载压力和响应时间。 在进行过期更新时，可以使用Redis提供的expire命令来设置新的过期时间。通过expire命令，我们可以指定一个新的过期时间（以秒为单位），当时间达到时，Redis会自动将该key删除。同时，我们还可以使用set命令更新token的value，以便存储一些新的信息或者刷新其过期时间。 另外，为了保证系统的性能和避免出现脏数据，可以采取定期清理过期token的策略。通过定期的清理工作，我们可以及时地清除过期的token，释放相关的存储空间，提高系统的可用性和性能。 综上所述，通过使用token来管理过期时间，并在过期时及时地更新它们，可以有效地提升系统的安全性和性能。而Redis提供的expire和set命令可以方便地实现过期更新的功能。定期清理过期token则是保证系统健康运行的重要步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值