【hugging face】bitsandbytes中8 bit量化的理解

最新推荐文章于 2024-08-06 16:34:36 发布
最新推荐文章于 2024-08-06 16:34:36 发布
阅读量789 收藏
点赞数
分类专栏： LLM 文章标签： hugging face
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42725437/article/details/134889861
版权
文章介绍了如何通过8位量化技术，使得大规模模型能在较小硬件上运行且保持性能。该方法涉及提取离群值，使用不同精度进行矩阵乘法，再调整非异常值以保持FP16精度。文中提供了具体操作步骤和示例来说明这一过程。
摘要由CSDN通过智能技术生成

8 位量化使数十亿参数规模的模型能够适应更小的硬件，而不会降低性能。 8 位量化的工作原理如下：
1.从输入隐藏状态中按列提取较大值（离群值）。
2.对 FP16 中的离群值和 int8 中的非离群值执行矩阵乘法。
3.改变非异常值结果以将值拉回到 FP16，并将它们添加到 FP16 中的异常值结果中。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
因此，本质上，我们执行矩阵乘法以节省精度，然后将非异常值结果拉回到 FP16，而非异常值的初始值和按比例缩小后的值之间没有太大差异。你可以看下面的例子

在这里插入图片描述

qq_42725437
关注
专栏目录
大模型量化技术-BitsAndBytes
段智华的博客
04-02 734
是将模型量化为8位和4位的最简单选择。异常值是指大于某个阈值的隐藏状态值，这些值是以fp16进行计算的。虽然这些值通常服从正态分布（[-3.5, 3.5]），但对于大型模型来说，该分布可能会有很大差异（[-60, 6]或[6, 60]）。8位量化适用于约为5左右的数值，但超过此范围后将导致显著性能损失。一个好的默认阈值是6，但对于不稳定的模型（小型模型或微调）可能需要更低的阈值。
使用 Bitsandbytes 量化 Llama 3 8B 以保持其准确性 Llama 2 与 Llama 3 与 Mistral 7B，使用 GPTQ 和 Bitsandbytes 进行量化
iCloudEnd的博客
05-30 111
通过量化，我们可以减小大型语言模型 (LLM) 的大小。量化后的 LLM 更容易在内存较小的 GPU 上运行，可有效用作 LLM 的压缩方法。根据Meta 自己的评测，Llama 3 8B 优于 Llama 2 7B 和 Mistral 7B。然而问题来了：量化之后，Llama 3 8B 是否还能保持优势呢？
Transformers实战05-模型量化
最新发布
liaomin416100569的专栏
08-06 1156
模型量化（Model Quantization）是一种优化技术，旨在减少机器学习模型的计算资源需求和存储空间，同时在精度损失最小化的前提下提高推理效率。量化通过将模型权重和激活函数的数值从高精度（如 32 位浮点数）转换为低精度（如 8 位整数），显著减少了模型大小和计算复杂度。
使用colab下载大模型基模的时候报错处理
完颜振江
03-25 200
解决方案：安装依赖的时候用pip3。
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
AI + 工程
04-23 1024
一、引言 二、机器学习中常用的数据类型 三、模型量化简介 四、简要总结 LLM.int8(): 大语言模型的零退化矩阵乘法 离群特征的重要性 MatMul 内部 0 退化是什么意思？ 比原始模型更快吗？ 五、Hugging Face `transformers` 集成细节 1、用法 2、`accelerate` 足矣 3、在 `accelerate` 设置设备要当心 4、总结 六、如何在 `transformers` 中使用它 硬件要求 安装 演示示例 - 在 Google Colab 上运行 T5 11B
深度学习环境搭建 cuda、模型量化bitsandbytes、git-lfs安装教程 windows、linux
m0_61634551的博客
08-19 3758
输入以下命令，查看 GPU 支持的最高 CUDA 版本。nvidia-smi。
TensorFlow 8 bit模型量化
weixin_34221073的博客
05-13 1132
本文基本参考自这篇文章：8-Bit Quantization and TensorFlow Lite: Speeding up mobile inference with low precision 首先来一段keras dalao Francois Chollet的鸡汤： make it possible make it work make it efficient make it depe...
[LLM]Hugging Face 的 Autotrain-Advanced 探索
摩登都市天空---专栏
07-03 854
AutoTrain Advanced，这是一款无代码工具，专门设计用于让用户无需编写一行代码即可创建、微调和部署自己的 AI 模型。只需上传数据即可训练自定义机器学习模型。AutoTrain 将自动为你的数据找到最佳模型。它不仅可以帮助机器学习工程师，甚至可以帮助非开发人员轻松训练最先进的 ML 模型。只需要简单几步即可快速完成模型的微调、训练、推理和部署。AutoTrain 是一种自动训练和部署最先进的机器学习模型的方法，与 Hugging Face 生态系统无缝集成。
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 727
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
bitsandbytes：轻量级CUDA自定义函数Python封装库
步子哥的博客
07-15 481
是一个轻量级的Python库，它主要为CUDA自定义函数提供了一个便捷的封装。这个库的核心功能包括8位优化器、矩阵乘法（LLM.int8()）以及8位和4位量化函数。通过这些功能，能够显著提高深度学习模型的训练和推理效率，同时减少内存占用。库为深度学习领域带来了新的可能性，它通过创新的量化技术和优化算法，使得更高效、更经济的模型训练和部署成为现实。随着对更多硬件平台的支持，的应用范围将进一步扩大，为人工智能的发展提供强有力的工具支持。作为一个开源项目，的成功离不开社区的贡献。
最强中文开源模型Command R+的在线使用和本地部署的解决方案
热门推荐
herosunly的博客
04-20 7万+
本文主要介绍了最强中文开源模型Command R+的本地部署和在线使用的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 在线使用 3. 本地部署
实现8位Matlab数据量化
08-22
本程序是用Matlab实现8位数据量化，便于数字化处理
VisualGLM - 多模态中英双语对话语言模型
AI + 工程
10-03 591
关于 VisualGLM 背景: 多模态预训练 背景: ChatGLM-6B VisualGLM-6B 训练 微调 不同微调方案需要的资源 Lora merge
动手实现8Bit量化Transformer
python123456_的博客
07-09 669
PyTorch的量化是一种减少模型大小和加速推理的技术，通常用于部署模型到资源受限的设备，如手机或嵌入式设备。以下是一个基本的步骤来实现PyTorch中Transformer模型的量化。如图我们可以将张量量化到8，16比特甚至更低加速推理和节省内存。注意：这里以torch.quantization模块为基础，这是一个PyTorch提供的专门用于量化的模块。准备模型：首先，你需要有一个已经训练好的Transformer模型。
解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘
qq_44817420的博客
07-14 2805
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + S
Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）
qq_56591814的博客
11-16 3432
简称 mmap tensors，是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中，而不占用宝贵的RAM内存，CPU可以直接对磁盘文件中的数据进行读写操作，就像操作RAM中的tensors一样。同样的，也可以方便创建模型，而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存，赋予GPU应该传递标识符（例如 0,1），内存值可以是整数（以字节为单位），也可以是表示数字及其单位的字符串，例如 “10GiB” 或 “10GB”。
使用 8 位量化轻松优化深度学习
wouderw的博客
11-13 517
该方法在训练模型时模拟权重和激活的量化，因此模型中的操作在推理时可以被视为 8 位操作。这些值用于在训练期间对输入进行归一化，并表示所有训练图像的颜色强度的平均值和标准差。通常，需要以较小的学习率进行多次调整，这与通常在原始模型训练结束时使用的相同。对于其他一些模型，您可能需要为导出添加额外的功能，例如，虚拟前向功能。OpenVINO TM推理引擎使用在训练期间插入模型的量化规则在推理期间将模型转换为 INT8。我们假设用户有自己的原始 FP32 模型的训练管道，包括模型加载、数据准备和训练循环的步骤。
【项目实战课】基于ncnn框架与KL散度的8bit对称模型量化与推理实战
hacker_long的专栏
02-20 1049
欢迎大家来到我们的项目实战课，本期内容是《基于ncnn框架与KL散度的8bit对称模型量化与推理实战》。所谓项目实战课，就是以简单的原理回顾+详细的项目实战的模式，针对具体的某一个主题，进...
模型压缩之8位量化——徒手造轮子
NLP与推荐算法
01-14 1566
这里简单说明情况/流程即可，不再实际对模型进行压缩。 1-设定最大最小范围，将参数clip到此范围内； 2-采用255对参数进行最大最小值系数化处理； 3-数据格式转换为8位即可； 举例如下： 1-设定最大最小值为2，-2，然后对随机数进行clip >>> xx array([-0.03792056, -0.03543376, 2.11450531, -1.001...
hugging face中文手册
04-30
Hugging Face是一个开源的自然语言处理（NLP）平台，提供了丰富的NLP模型和工具。Hugging Face中文手册是Hugging Face官方提供的关于使用其平台和相关工具的中文文档。 Hugging Face中文手册包含了以下内容： 1. 模型介绍：介绍了Hugging Face平台上提供的各种预训练模型，包括文本分类、命名实体识别、机器翻译等任务的模型。 2. 模型使用指南：详细说明了如何使用Hugging Face提供的模型进行文本处理任务，包括加载模型、输入数据格式、模型推理等。 3. 工具介绍：介绍了Hugging Face平台上提供的各种工具，如transformers库、datasets库等，以及它们的功能和用法。 4. 示例代码：提供了一些使用Hugging Face平台和相关工具的示例代码，帮助用户更好地理解和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值