浮点数比较大小_TernaryBERT：权重三值化、模型大小降至1/15，华为诺亚提出融合知识蒸馏的BERT超低比特量化技术...

最新推荐文章于 2023-02-13 21:55:00 发布
最新推荐文章于 2023-02-13 21:55:00 发布
阅读量253 收藏
点赞数
文章标签： 浮点数比较大小
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39583655/article/details/111336810
版权
本文介绍了TernaryBERT，一种结合知识蒸馏和量化的BERT模型压缩方法，实现了对BERT的任意低比特压缩。通过Weight和Activation量化，模型大小显著减小，同时保持高性能。实验结果在多个任务上展示了该方法的有效性。
摘要由CSDN通过智能技术生成

b31729c7e6ea1254e6e07790af79b188.png

       华为诺亚方舟实验室语音语义团队提出了一种新颖的面向大规模预训练语言模型的超低比特量化方法TernaryBERT。该方法可以对预训练模型进行任意低比特的量化压缩。在超低的2-bit(权重三值化)情况下，可达到对原始模型14.9倍的压缩，同时保留业务98%以上的性能，显著超过已有很多方法，如图 1所示。该工作目前已经被EMNLP 2020接收，论文链接： https://arxiv.org/abs/2009.12812

87843a83a84b6e24d3534576dbd43ecc.png

图 1各个方法模型大小vs. MNLI-m任务准确率

研究背景

       以BERT为首的、基于transformer结构的预训练语言模型已经成为了自然语言处理(NLP)领域的主流模型。但由于巨大的参数量和繁复的计算过程，预训练模型在当前工业界很多服务器上的应用和部署都存在着一定的挑战，更不用说像手机这样资源受限的终端设备。近一两年来，针对预训练语言模型的压缩成为解决这类问题的一个热门方向，针对神经网络的压缩方法主要有知识蒸馏、量化、剪枝和参数共享等。其中知识蒸馏的方法目前主要是从模型结

最低0.47元/天 解锁文章
weixin_39583655
关注
万字长文-深度学习模型压缩和加速-量化、剪枝、蒸馏等
谢杨易的博客
04-30 1万+
1 背景 近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有： 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题...
【100%通过率】华为OD机试真题 Java 实现【大炮攻城 / 攻城战】【2023 Q1 | 200分】
最新发布
MISAYAONE的博客
03-01 1万+
一支攻城部队，有若干种大炮各座，以及数量有限的火药，每种大炮的威力不尽相同，且在每次开火之前都需要一定时间填充火药，请你帮助指挥官在给定的时间结束之前或者火药存量耗尽之前给予城池最大的打击。
让BERT瘦下来 MindSpore量化训练极低比特语言模型 TernaryBERT
Kenji_Shinji的博客
08-22 321
基于Transformer的预训练模型如BERT在许多自然语言处理任务中都取得了显著的性能。然而，这些模型昂贵的计算和内存都阻碍了它们在资源受限设备上的部署。因此，我们提出了TernaryBERT，它将微调的BERT模型中权值三值化。此外，为了减少低比特导致的精度下降，我们在训练过程中采用了知识蒸馏技术。在GLUE和SQuAD上进行的实验表明，我们提出的TernaryBERT量化方法优于其他的BERT量化方法，甚至可以达到与全精度模型相当的性能，同时将模型缩小了14.9倍。
神经网络低比特量化——LSQ
u012347027的博客
08-08 2778
神经网络低比特量化——LSQ摘要方法量化计算公式STEP SIZE GRADIENTSTEP SIZE GRADIENT SCALE直通估计器实验结果Weight DecayImageNetAccuracy VS. Model Size消融实验Step Size Gradient Scale Impact添加知识蒸馏提高精度 本文为IBM的量化工作，发表在ICLR 2020。论文题目：Learned Step Size Quantization。为了解决量化精度越低，模型识别率越低的问题，本文引入了一种新
Pytorch之Embedding与Linear的爱恨纠葛
chb4715的博客
02-13 1230
pre { line-height: 125% } td.linenos .normal { color: inherit; background-color: rgba(0, 0, 0, 0); padding-left: 5px; padding-right: 5px } span.linenos { color: inherit; background-color: rgba(0, 0...
模型的第一层：详解torch.nn.Embedding和torch.nn.Linear
qq_43391414的博客
10-15 1万+
文章目录1.概述2.Embedding2.1 全连接层2.2 Embedding层结尾 1.概述 torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。 显然，这非常像全连接层，所以很多人说
华为HiAI_DDK_V320_轻量化工具使用说明书1
08-03
华为HiAI DDK V320的轻量化工具是为提高AI模型在华为设备上的运行效率而设计的，它简化了模型量化的过程，使得开发者可以轻松地将模型转换为更适合移动端的格式。通过无训练量化，开发者可以在不牺牲太多精度的前提...
NeurIPS 2021 Transformer部署难？北大&华为诺亚提出Vision Transformer的后训练量化方法...
我爱计算机视觉
10-20 1008
关注公众号，发现CV技术之美本文分享 NeurIPS 2021 论文『Post-Training Quantization for Vision Transformer』，由北大&...
常用的损失函数
qq_41048761的博客
04-19 1万+
pytorch的源码：torch.nn — PyTorch 1.11.0 documentation jittor的源码：jittor.nn — Jittor 1.3.2.6 文档 (tsinghua.edu.cn) 目录 一、回归损失函数 1.1 MSE[均方误差Mean Square Error，二次损失Quadratic Loss，L2损失L2 Loss] 1.2 MAE[平均绝对误差Mean Absolute Error，L1损失L1 Loss] 1.3 Huber Loss...
三值网络--Trained Ternary Quantization
AI小作坊 的博客
05-08 1667
Trained Ternary Quantization ICLR 2017 https://github.com/TropComplique/trained-ternary-quantization pytorch https://github.com/buaabai/Ternary-Weights-Network pytorch 传统的二值网络将权重 W 量化为 +1、-1； 三值网络 ...
Triple loss
VIEO
08-12 2227
一、Triplet结构： triplet loss是一种比较好理解的loss，triplet是指的是三元组：Anchor、Positive、Negative： 整个训练过程是： 首先从训练集中随机选一个样本，称为Anchor(记为x_a)。 然后再随机选取一个和Anchor属于同一类的样本，称为Positive (记为x_p) 最后再随机选取一个和Anchor属于不同类的样本，称为Negative (记为x_n) 由此构成一个（Anchor，Positive，Negative）三元组。 二、Triplet
一文速览EMNLP 2020中的Transformer量化论文
算法码上来
11-26 593
花了几天看了三篇EMNLP 2020中关于Transformer模型量化的相关论文，快速记一下要点。Fully Quantized Transformer for Machine Tra...
神经网络压缩之低比特量化的优劣分析
独行侠
01-05 1935
优势 减小模型尺寸（减少内存占用）：如8位整型量化可减少75%的模型大小，更小的模型大小意味着不需要更多的内存 加快推理速度： 1）8 位的访问次数要比 32 位多，在读取 8 位整数时只需要 32 位浮点数的 1/4 的内存带宽，例如，在 32 位内存带宽的情况下，8 位整数可以一次访问 4 个，32 位浮点数只能 1 次访问 1 个。而且使用 SIMD 指令(19.2节会加速介绍该指令集...
深度学习中 Embedding层两大作用的个人理解
热门推荐
weixin_42078618的博客
10-10 4万+
前一个月接触到一个概念，Embedding层。今天跟大家分享一下个人心得。   首先，我们有一个one-hot编码的概念。   假设，我们中文，一共只有10个字。。。只是假设啊，那么我们用0-9就可以表示完 比如，这十个字就是“我从哪里来，要到何处去” 其分别对应“0-9”，如下： 我  从  哪  里  来  要  到  何  处  去 0    1    2    3   4 ...
判断深度学习模型的稳定性_人工智能干货｜一线工程师带你学习深度学习模型量化理论+实践...
weixin_39681058的博客
11-20 1141
2019年的最后一天，送给自己一份特殊的礼物。模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1)量化算法介绍及其特点分析，让你知其然并知其所以然； 2)Pytorch 量化实战，让你不再纸上谈兵；3)模型精度...
关于Bert模型参数的分布
HUSTHY的博客
09-06 1万+
参数分布 Bert模型的版本如下： BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters BERT-Large, Uncased: 24-layer, 1024-hidden, 16-heads, 340M parameters BERT-Base, Cased: 12-layer, 768-hidden, ...
Bert系列模型参数优化降低大小
Wang laiqi's blog
11-26 1932
我们下载下来的预训练的bert-base模型的大小大概是394M左右，但我们在自己数据集上经过fine-tuning后的bert-bae模型大小大约是1.2G, 整整是Bert-base模型的3倍，让我们来看看到底是什么原因造成的，首先我们可以通过下一段代码来输出我们训练好的模型和官方提供的Bert-base模型的参数变量。 1:官方提供的Bert-base模型参数信息如下： from tensorflow.python import pywrap_tensorflow from tensorflow.co
华为软件开发笔试题解析：C/C++重点知识
"华为软件开发工程师的笔试题目涵盖了C、C++等编程语言的相关知识点，包括静态变量、函数调用、内存管理、系统架构、浮点数比较、网络协议、IP地址转换、字符串操作以及预处理器指令等核心概念。" 在华为软件开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值