【论文阅读】SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT co

已于 2022-12-24 16:55:05 修改
阅读量204 收藏
点赞数
分类专栏： 深度学习模型压缩 论文阅读 文章标签： 论文阅读 bert 人工智能
于 2022-12-05 16:28:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43800119/article/details/128188573
版权
SensiMix是针对BERT模型的一种新的量化压缩方法，它考虑了BERT各模块的敏感度，将8位和1位量化应用于敏感和非敏感部分。通过绝对二元权值正则化、优先级训练和反向分层微调等技术，SensiMix在保持模型性能的同时实现了8倍的压缩率和80%的推理时间减少。实验表明，SensiMix在GLUE任务上表现良好，且优于其他模型。
摘要由CSDN通过智能技术生成

论文信息

在这里插入图片描述

SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT compression

作者：Tairen Piao, Ikhyun Cho, U. KangID*

发表单位：Seoul National University

发表期刊：PLOS ONE

Received: August 26, 2021

Accepted: March 4, 2022

Published: April 18, 2022

Abstract

如何权衡预训练BERT压缩效果和精度是一直以来模型压缩领域需要考虑的问题，本文提出了一种新的基于量化的BERT压缩方法SensiMix，该方法考虑了BERT不同模块的敏感度。SensiMix将8bit和1bit量化应用于BERT敏感和不敏感部分，在最大化压缩率的同时最小化精度下降。

本文还提出了三种新的1bit训练方法来最小化精度下降：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
zoetu
关注
专栏目录
订阅专栏
sa-uta7-recall-precision:UTA7统计分析的召回率和精确度结果
05-12
另一方面， Precision是正确分类的正BIRADS样本总数除以预测的正BIRADS样本总数。 通常，我们认为精度和召回率都表明模型的准确性。 尽管这是正确的，但每个术语都有更深层的，不同的含义。 精确度是指相关结果的...
an1181-electrostatic-discharge-sensitivity-measurement-stmicroelectronics.pdf
08-07
本文档标题为《an1181-electrostatic-discharge-sensitivity-measurement-stmicroelectronics.pdf》，由STMicroelectronics的微控制器部门应用部编写，主要介绍了一种用于确定微控制器设备对静电放电（ESD）损坏敏感...
Development-of-Sensitivity-Based-Indices-for.rar_indices_sensiti
07-14
1. 敏感性分析方法：包括局部敏感性分析（Local Sensitivity Analysis）和全局敏感性分析（Global Sensitivity Analysis）。局部敏感性分析通常关注单个参数变化的影响，而全局敏感性分析则考虑所有参数的综合影响，...
Eigenkit.zip_eigen_eigen face_eigen-sensitivity
07-14
face recognition using eigen values
论文笔记：Online Class-Incremental Continual Learning with Adversarial Shapley Value
weixin_47505105的博客
10-04 485
这篇工作的focus 是 memory-based approach。
【论文阅读】Learning a Few-shot Embedding Model with Contrastive Learning
cainiaomyf的博客
10-06 859
少样本学习（FSL）旨在通过适应从源类中学习到的先验知识来识别目标类。这些知识通常存在于深度嵌入模型中，用于支持图像和查询图像对的一般匹配目的。本文的目标是将对比学习重新用于这种匹配，以训练少样本嵌入模型。我们做出了以下贡献：（i）我们在监督环境下研究了带有噪声对比估计（NCE）的对比学习，用于训练少样本嵌入模型；（ii）我们提出了一种新颖的对比训练方案，称为 infoPatch，利用了 patch 级别的关系，显著改进了流行的 infoNCE；
论文阅读笔记-LogME: Practical Assessment of Pre-trained Models for Transfer Learning
mohen_777的博客
10-06 945
在NLP领域，预训练模型（准确的说应该是预训练语言模型）似乎已经成为各大任务必备的模块了，经常有看到文章称后BERT时代或后XXX时代，分析对比了许多主流模型的优缺点，这些相对而言有些停留在理论层面，可是有时候对于手上正在解决的任务，要用到预训练语言模型时，面对烟火缭乱的语言模型，需要如何挑选合适的模型应用到任务上来。一个非常直接的方法就是把每一个候选模型针对任务都做一遍微调，因为微调涉及到模型训练，时间至少几个小时起步。
GS-SLAM论文阅读笔记-MGSO
qq_45795134的博客
10-04 937
然而，现有的基于3dgs的SLAM系统难以平衡硬件简洁性、速度和地图质量。大多数系统在上述的一个或两个方面表现出色，但很少能做到全部。一个关键问题是在同时进行SLAM时初始化高斯的困难。传统上，SLAM系统提供语义差的地图表示，对定位和基本导航有效，但缺乏复杂任务所需的细节。解耦的稠密地图SLAM一个关键挑战是SLAM和密集重建组件之间缺乏协同作用。SLAM算法往往不能为高质量的密集重建提供最优数据，从而影响系统的整体性能。
【论文阅读】Semi-Supervised Few-shot Learning via Multi-Factor Clustering
cainiaomyf的博客
10-07 1169
标记数据的稀缺性和模型过拟合问题一直是小样本学习中的挑战。最近，半监督小样本学习被提出，以获取未标记样本的伪标签来扩展支持集。然而，在生成伪标签的过程中，未标记数据与标记数据之间的关系并未得到充分利用，这些伪标签中的噪声会直接损害模型的学习效果。为了解决图像分类中的上述问题，本文提出了一种基于聚类的半监督小样本学习方法（cluster-FSL）。通过使用多因素协同表示，我们设计了一种新颖的多因素聚类（MFC）方法，用于融合小样本数据分布的信息，可以基于标记数据为未标记样本生成软和硬伪标签。
论文阅读笔记-XLNet: Generalized Autoregressive Pretraining for Language Understanding
mohen_777的博客
10-08 1111
XLNet预训练阶段和BERT差不多，不过去除了Next Sentence Prediction，作者发现该任务对结果的提升并没有太大的影响。输入的值还是 [A, SEP, B, SEP, CLS]的模式，A与B代表的是两个不同的片段。更详细的实现细节可以参考论文源码。仍使用自回归语言模型，未解决双向上下文的问题，引入了排列语言模型。
论文阅读笔记-Pre-trained Models for Natural Language Processing: A Survey
mohen_777的博客
10-06 792
Masked Language Modeling (MLM)：被称为完形填空（Cloze）任务，即从输入序列中遮掩一些 token，然后训练模型来通过其余的 token 预测 masked 的 token。Permuted Language Modeling (PLM)：给定一个序列，然后从所有可能的排列中随机抽样一个排列。接着将排列序列中的一些 token 选定为目标，同时训练模型以根据其余 token 和目标的正常位置（natural position）来预测这些目标。
论文阅读：Split-Aperture 2-in-1 Computational Cameras （二）
Matrix-11
10-07 923
接下来，文章介绍了二合一相机在几种场景下的应用，首先是高动态范围成像，现有的快照高动态范围（HDR）成像工作已经证明，使用条纹状点扩散函数（PSF）可以将局部高动态范围信息光学编码到附近的像素中，这种 PSF 可以在光学层面将饱和区域的图像内容展开成不饱和，并且与附近的图像区域叠加。由于未调制的捕获图像提供了场景中未饱和区域的信息，因此这个重建网络可以专注于从条纹图案中恢复饱和的高光区域，这些条纹图案是通过将高光区域与设计的点扩散函数进行卷积而产生的。然而，在实际中，这种分离并不完美，特别是对于离轴光。
【论文阅读】Cross Attention Network for Few-shot Classification
cainiaomyf的博客
10-06 925
少样本分类旨在仅给出少量标记样本的情况下，识别来自未见过类别的未标记样本。未见类
10、论文阅读：基于双阶对比损失解纠缠表示的无监督水下图像增强
DQHNB的博客
10-07 1254
在水下环境中拍摄的图像通常会受到颜色失真、低对比度和视觉质量下降的影响。大多数现有的方法通过对合成图像或伪参考进行有监督的训练来解决水下图像增强（UIE）问题。然而，由于合成的配对数据与真实世界数据之间存在固有差异，这些数据无法准确复制真实情况，同时伪参考的数量和质量也有限，这在对真实水下图像进行测试时严重降低了模型的泛化能力和性能。相比之下，无监督的方法不受配对数据的限制，更加稳健，并在实际应用中具有更大的潜力。然而，现有的无监督方法无法有效约束网络来训练一个可以适应各种退化情况的模型。
【论文阅读】Segment Anything Model for Road Network Graph Extraction
TKK的博客
10-04 1321
简单来说，本工作将矢量道路线提取的部分流程视为分割任务，利用SAM预训练模型的强大分割能力，实现了SOTA精度和极高的推理速度。
论文阅读笔记-Rethinking Self-Attention for Transformer Models
mohen_777的博客
10-08 923
提出了Synthetic Attention，无需点注意力或基于内容的注意力。提出了Synthesizer，集成了Synthetic Attention的新模型。随机对齐的可学习矩阵一样表现良好。在一些任务重token-token依赖并不是必须的。
【论文笔记】Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
Word_And_Me_的博客
10-04 1246
原因：MNN 匹配不存在空间差异，因为匹配是通过直接索引得分最高的像素来选择的，但无法实现亚像素精度。另外，双softmax在训练过程中至关重要，而在推理中，不使用softmax，直接使用分数矩阵S进行MNN匹配仍然可以得到很好的效果。对于之前的方法，都是直接在整个粗特征图上进行注意力变换，vanilla attention（香草注意力）代替linear attention来提高效率，但是模型能力达不到最优，这里文中提出高效的聚合注意力机制。根据粗匹配提取的精细局部特征块，搜索高精度的亚像素匹配。
[论文阅读] DVQA: Understanding Data Visualizations via Question Answering
最新发布
moment8aVry的博客
10-09 873
原文链接：http://arxiv.org/abs/1801.08163启发：没太读懂这篇论文，暂时能理解的就是本文提出了一个专门针对条形图问答的数据集DVQA以及一个端到端模型SANDY，模型有两个版本，Oracle和OCR。主要解决的问题是固定词表无法回答包含图表特有词汇问题。所以在SANDY（Oracle）中使用DVQA数据集的所有注释来构建词表，在SANDY（OCR）中使用开源的Tesseract OCR的输出，这样都保证了词表中能包含所有出现在图表以及问题中的词汇。至于文本提到的其他贡献，暂时无法
提升论文影响力：CLUSTAL-W与WOS在课题创新中的应用策略
高被引论文题名分析：主-副题名相结合 在科学研究中，高被引论文的题目往往具有显著的重要性，能够清晰地传达研究的核心内容和创新点。例如，Thompson, Higgins, and Gibson于1994年在《核酸研究》杂志上发表的题为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zoetu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值