低比特大模型排行版暨AutoRoundV0.2发布

置顶 已于 2024-06-04 13:23:52 修改
阅读量285 收藏 5
点赞数 4
文章标签： transformer chatgpt gpt llama AIGC
于 2024-06-04 11:10:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PeaceInMind/article/details/139435905
版权

由于大量的量化模型没有精度数据，为了让用户更好地找到适配自己的模型或量化算法，最近推出了低比特大模型排行版，评估的指标主要涵盖10个zero shot的任务,如果有什么建议或者意见可以去社区提~目前支持13B以下模型的评估，后面可能随着计算资源的提升会增加模型覆盖的范围。

另外我们最近也发布了[AutoRound](https://github.com/intel/auto-round) V0.2,其中做了若干更新，包括对lm-head量化的支持，可以使得llamav3-8b的W4G128从5.4G降到4.7G，另外也可以做混合bit或者混合group_size的量化和推理，另外最近的更新我们修复了asym kernel的问题，2bit的精度和少数4bit的实测精度有了大量的提升。

在低比特排行榜中，AutoRound在大部分场景中表现都可以

另外我们在2bit中也表现不俗，当然诚实地讲，我们测出AutoRound在llama3中表现还不太满意，目前正在看

PeaceInMind
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回归模型的score得分为负_回归模型评估指标
weixin_29146599的博客
01-30 3489
在建立回归模型时需要对模型的效果进行评测，选择哪一种指标作为评估指标也会影响最终模型的效果。这里选择Scikit Learn自带的回归模型评估指标进行详细讲解。explained_variance_score(y_true, y_pred) Explained variance regression score functionmean_absolute_error(y_true, y_pred)...
看完这篇，我奶奶也要去练大模型了！
aolan123的博客
05-21 1212
当下圈里最火的话题莫过而国内最拉风的大模型莫过反正，上千号百度工程师为肝出这个大模型已经熬出了黑眼圈像「文心一言」这种超级大模型训练过程太虐人，搁谁都得“吐血”即便像百度这么有实力的技术大厂恐怕，工程师们也在厕所哭晕过好几轮今天，我们就从技术层面来讲讲训练一个「文心一言」大模型到底有多难？到底有多虐人？到底有多吐血？唯有大集群才能 Hold 住大模型通常千亿参数规模才好意思叫大模型比如，GPT-3，有1750亿参数而文心大模型（ERNIE 3.0 Titan）参数则高达2600亿。
机器学习：回归模型的评价指标
热门推荐
chao2016的博客
12-11 1万+
1. 均方误差 （Mean Squared Error，MSE） 观测值与真值偏差的平方和与观测次数的比值： MSE = 1m∑i=1m(fi−yi)2\frac{1}{m}\sum_{i=1}^{m}(f_i-y_i)^2m1​∑i=1m​(fi​−yi​)2 这就是线性回归中最常用的损失函数，线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。 MSE可以评价数据的变化程度...
pcdmis怎么导出模型_3D游戏模型提取、导入、导出教程
weixin_33894125的博客
01-28 2724
本教程转自http://geek.prdsarea.com/forum.php?mod=viewthread&tid=891&fromuid=282846(出处: http://geek.prdsarea.com/)这个是我的第二个教程，这个教程的主要内容是教大家如何提取3D游戏里的模型，因为有一些3D游戏里面的模型非常精致，例如有一些人物模型或者场景模型。这样大大方便了模型的制作...
简单走近ChatGPT
张彦峰的博客
07-22 1万+
主要涵盖了ChatGPT的背景、NLP学习范式的演进、预训练方法的详细介绍以及OpenAI的GPT系列模型的概述。旨在提供一个全面的认知和理解，以帮助读者更好地了解ChatGPT以及与之相关的NLP领域的发展。
ChatGPT：OpenAI SDK 是什么？
XRT_knives的博客
07-23 247
ChatGPT：OpenAI SDK 是什么？
ChatGPT：ChatOpenAI 是什么？
XRT_knives的博客
07-23 226
ChatGPT：ChatOpenAI 是什么？
AI学习记录 -使用react开发一个网页，对接chatgpt接口，附带一些英语的学习prompt
weixin_43954090的博客
07-23 172
实现功能：1、对接gpt35模型问答，并实现了流式传输（在java端）2、在实际使用中，我们的问答历史会经常分享给他人，所以下图的 copy all 按钮，可以copy成一个json然后通过社交软件发送给别人，别人就可以轻松应用你的问答历史。3、选择文件，在我们预想当中，我们可能会经常遇到向文档提问（当时还不知道embedding的知识哈哈哈），通过拆分文档，一段段跟gpt提问，当前段落是否和用户内容相关，相关就回答段落问题（段落拆分通过java实现）
ChatGPT实战100例 - (20) 如何玩转影刀RPA
AIGC搞起
07-20 1361
根据以上内容，总结下AIGC在影刀RPA中的使用，并对其他RPA步骤中可能用到AIGC的地方做个展望AIGC（人工智能生成内容）在影刀RPA中的使用主要体现在以下几个方面：智能内容抓取与分析关键词识别：利用NLP技术识别并理解用户输入的关键词或文章链接。内容抓取：通过RPA自动化流程抓取网页内容，包括标题、作者、发布时间、正文等信息。语义分析：使用AIGC技术对抓取的内容进行语义分析，对比关键词、文章结构、字数等，生成对标分析报告。报告生成与输出内容总结与生成。
使用ChatGPT来撰写和润色学术论文的教程(含最新升级开桶ChatGpt4教程）​​
m0_61544805的博客
07-22 1万+
如何使用虚拟信用卡去升级ChatGPT4.0
搭建基于 ChatGPT 的问答系统第一章-综述
weixin_42553583的博客
07-23 303
强大的指令理解能力、自然语言生成能力是 LLM 的核心，支持了 LLM 以类人的方式去思考、执行并完成用户任务。通过代码实践，实现了基于 ChatGPT 开发问答系统的全流程，介绍了基于大模型开发的新范式，值得每一个有志于使用大模型开发应用程序的开发者学习。学习这一部分，应当充分演练所提供的代码，做到自我复现并能够结合个人兴趣、特长对所提供的代码进行增添、更改，实现一个更个性化、定制化的问答系统。》的基础上，指导开发者如何基于 ChatGPT 提供的 API 开发一个完整的、全面的智能问答系统。
ChatGPT之9.11和9.9 哪个大？ 翻车？？？
Japhet_jiu的博客
07-18 1797
其实并不是，只是你提问方式不对
EXO-chatgpt_api 解释
最新发布
ZJQ的博客
07-23 40
展示了如何在一个项目中组织和导入各种库、模块和类，以及如何进行一些基本的Web服务设置和配置。aiohttpwebaiohttpLiteralUnionDictexoDEBUGVERSIONShardNode整体来看，这段代码是一个结合了异步编程、Web服务、JSON处理、类型注解以及自定义逻辑的大型项目的一部分。它可能是一个基于库的NLP服务，使用了aiohttp构建Web接口，并通过CORS扩展来处理跨域请求。同时，它还利用了自定义的模块和类来处理特定的业务逻辑，如推理任务的分片和节点管理。DEBUG。
价格战再起：OpenAI 发布更便宜、更智能的 GPT-4o Mini 模型｜TodayAI
TodayAI
07-19 1564
与完整版模型相比，GPT-4o mini 在成本效益方面表现卓越，价格仅为每百万输入 tokens 15 美分和每百万输出 tokens 60 美分，比之前的前沿模型便宜一个数量级，比 GPT-3.5 Turbo 便宜超过 60%。这些专家评估的见解有助于提高 GPT-4o 和 GPT-4o mini 的安全性。至于为什么 OpenAI 花了这么久的时间才推出这个模型，Godement 表示，这是“纯粹的优先级问题”，因为公司专注于创建更大更好的模型，如 GPT-4，这需要大量的人力和计算资源。
【综合能力提升】ChatGPT-4o及多技术融合在水文、气候、生态等地学领域科研及项目应用
weixin_49857990的博客
07-17 1141
如何获取和处理矢量数据、栅格数据、气象数据、土地利用数据、生态环境数据等多维数据，掌握气候变化预测与干旱特征研究的关键技术，了解生态系统服务权衡与协同关系的分析方法，科学评估土地利用变化对生态环境和社会经济的影响，并实现数据处理的自动化。
ChatGPT如何开启使用gpt-4o mini模型？
viman3344的专栏
07-20 2344
作为 GPT-3.5 Turbo 的免费替代品，GPT-4o mini 在性能方面也没落下，甚至也比同量级的 Claude 3 Haiku 和 Gemini 1.5 Flash 还要好。如果没有出现gpt-4o-mini模型，那么就可以在回答的下方点击切换成为gpt-4o-mini模型。GPT-4o mini的高性能来源于GPT-4o模型，这是OpenAI目前最快、最强大的旗舰大模型。gpt-3.5现在已经取消掉了，现在是默认使用gpt-4o，如果需要使用gpt-4o mini的话，目前有两种方式。
GPT-4O-mini vs GPT-4O: 人工智能界的“小钢炮“与“大菠萝“
jixn的博客
07-23 717
在人工智能领域，OpenAI 的 GPT 系列模型一直处于技术前沿。最近，OpenAI 发布了两个版本的模型：GPT-4o 和 GPT-4o Mini。这两个模型虽然都属于 GPT-4 系列，但在应用和性能上有一些显著的差异。本文将深入探讨这两个模型的不同之处。
昇思25天学习打卡营第29天 | 基于MindSpore通过GPT实现情感分类
嫦娥妹妹等等我的博客
07-22 314
使用了预训练的GPT模型，并调整其头部以适应情感分类任务，这是迁移学习中的一种常见实践，可以显著提升模型在特定任务上的表现。通过这次基于MindSpore的GPT情感分类学习，不仅加深了对于MindSpore框架的理解，也对如何在实际应用中部署和优化深度学习模型有了更深入的认识。最后，通过在测试集上的评估，可以得出模型的性能和准确性。基于MindSpore框架通过GPT模型实现情感分类展示了从项目设置、数据预处理到模型训练和评估的详细步骤，提供了一个完整的案例来理解如何在自然语言处理任务中实现情感分析。
森林火灾与云计算：模型计算及防控研究
"云计算-山地火蔓延模型的计算与实验研究" 这篇文档主要探讨的是利用云计算技术对山地火蔓延模型进行计算与实验研究的课题。山地火灾因其复杂性，蔓延速度快，对生态环境和人类生活造成的破坏巨大，因此对其进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值