FastChat (Vicuna) 存储库尚不支持 GPTQ 量化模型

最新推荐文章于 2024-05-29 14:23:25 发布
最新推荐文章于 2024-05-29 14:23:25 发布
阅读量431 收藏
点赞数
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39970492/article/details/130907592
版权

由于 FastChat (Vicuna) 存储库尚不支持 GPTQ 量化模型，我已将 GPTQ-for-LLaMa 存储库集成到此分支中以运行 GPTQ 量化模型。为什么我们应该使用 Vicuna 模型的 GPTQ 量化版本？通过使用 GPTQ 量化版本，我们可以将 VRAM 要求从 28 GB 减少到大约 10 GB，这使我们能够在单个消费类 GPU 上运行 Vicuna-13B 模型。另一个优点是使用量化模型版本时推理过程中的加速约为 3 倍。有什么缺点吗？是的，量化模型的精度略低，因此性能略差于全精度模型。然而，正是模型的量化让我们中的许多人完全可以使用该模型。下图来自 GPTQ 论文表明，特别是对于较大的语言模型，由于应用量化而导致的质量下降很小：

量化交易曾小健(金融号)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BaiChuan13B-GPTQ量化详解
Blue&boke
04-18 741
1、按照网上搜索的一些代码，如使用auto_gptq原生库进行训练后量化，可能会正常量化，但是在线推理时会出现如找不到bin文件或者tf文件，即模型权重文件，所以和网上大部分代码不同的地方在于，需要提前保存对应模型的权重文件，如果是BaiChuan13B，那么在进行模型量化前，对其进行保存。按照上述步骤，此时模型量化文件保存成功，接下来就是模型在线推理。
此存储库包含 junelee's Wizard Vicuna 13B 的 GPTQ 模型文件 提供了多种GPTQ参数排列
04-01
此存储库包含 junelee's Wizard Vicuna 13B 的 GPTQ 模型文件。提供了多种GPTQ参数排列。用于 GPU 推理的 AWQ 模型。用于 GPU 推理的 GPTQ 模型，具有多个量化参数选项。用于 CPU+GPU 推理的 2、3、4、5、6 和 8 位 ...
FastChat-Vicuna下载安装和部署，代替ChatGPT.zip
05-07
FastChat-Vicuna下载安装和部署，代替ChatGPT.zip
大语言模型量化方法对比：GPTQ、GGUF、AWQ
deephub
11-16 5123
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 381
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
一步一步理解大模型：模型量化技术3 - GPTQ
chattyfish的博客
07-23 3692
之前的后训练方法只能在8位时保持准确，而之前的基于训练的技术只处理了比这小一个到两个数量级的模型。GPTQ可以在大约四个GPU小时内量化具有1750亿参数的GPT模型，将位宽减少到每个权重的3或4位，与未压缩的基线相比，准确性降低可以忽略不计。该方法的压缩增益是以前提出的一次性量化方法的两倍多，保持了准确性，使我们首次能够在单个GPU内执行1750亿参数的模型进行生成推断。GPTQ遵循最先进的后训练量化方法的结构，通过逐层进行量化，为每一层解决相应的重建问题。这一步是为了将量化后的值恢复到原始的值范围。
Quantized LLM ，GPTQ生成式预训练量化
AI生成式技术曾小健
06-08 1713
今天自己量化了一个 LLaMA-13b-gptq-8，几乎是药到病除，效果立刻超越了 LLaMA-7b-fp16。模型越大，GPTQ 量化模型的精度损失越小，对性能的提升越高，感觉就跟免费的午餐一样。在 RTX 3090/RTX A6000 级别的显卡上，LLaMA-30B 和 LLaMA-65B 的推理性能几乎完全由模型尺寸和内存带宽决定。此外，默认的 GPTQ 加速库里面的累加使用的也是 fp32，而不是 fp16，而 pytorch 在默认的配置下使用 fp16 对矩阵乘法求和。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 4704
通过实际代码例子介绍如何进行模型量化
FastChat-Vicuna的下载安装和部署，用不了ChatGPT就用这个吧
05-07
FastChat-Vicuna的下载安装和部署，用不了ChatGPT就用这个吧
About Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA)，支持微调Llma2、Llama、Qwen、B
08-18
支持微调通义千问Qwen-7B，该模型在各个中英文榜单，表现非常优异。 支持多轮对话微调ChatGLM2，比官方的训练方法更加充分高效（近期会进行源码分析）。当前微调了2500步的效果：Firefly-ChatGLM2-6B生成样例 开源...
不到100美元！UC伯克利再开源类ChatGPT模型考拉，高质量才是王道
04-11
先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。 最近伯克利又发布了一个新模型「考拉Koala」，...
LLM大模型4位量化实战【GPTQ】
新缸中之脑
11-18 814
权重量化方面的最新进展使我们能够在消费类硬件上运行大量大型语言模型，例如 RTX 3090 GPU 上的 LLaMA-30B 模型。这要归功于性能下降最小的新型 4 位量化技术，例如 GPTQ、GGML 和 NF4。在中，我们介绍了简单的 8 位量化技术和出色的LLM.int8()。在本文中，我们将探索流行的 GPTQ 算法，以了解其工作原理并使用库实现它。你可以在和上找到代码。
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）
asdfaa的博客
04-18 2118
本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
GPTQ~
whaosoft143ai的博客
11-16 304
具体而言，由于它们的巨大规模，即使对于大型高精度的GPT模型的推理，也可能需要多个性能卓越的GPU，这限制了这些模型的可用性。据作者所知，作者是第一个展示具有数千亿参数的极其准确的语言模型可以被量化为3-4-Bit/组件的研究：以前的后训练方法只能在8位下保持准确，而以前的基于训练的技术只能处理小数目级别较小的模型。在本文中，作者提出了一种新的后训练量化方法，称为GPTQ，它足够高效，可以在最多几个小时内在具有数千亿参数的模型上执行，并足够精确，可以将这些模型压缩到每个参数3或4位，而几乎不会丧失准确性。
强化学习——学习笔记3
最新发布
qq_52302919的博客
05-29 1280
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
学 Python 具体能干什么？
猿小白的博客
05-26 1210
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
从零实现Llama3中文版
wdn blog
05-26 781
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
强化学习——学习笔记
qq_52302919的博客
05-27 1252
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1239
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
介绍一下vicuna 7b大语言模型
05-13
Vicuna 7B是CSDN自主开发的大型语言模型，其名称中的7B代表了该模型的参数量达到了70亿个。该模型采用了Transformer架构，并在多种任务上进行了训练，包括自然语言生成、文本分类、问答等任务。Vicuna 7B在英语任务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值