近年来LLM量化方法总结简图

已于 2024-03-17 23:00:58 修改
阅读量404 收藏 7
点赞数 8
文章标签： 自然语言处理 语言模型
于 2024-03-05 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83173765/article/details/136466722
版权
这篇论文探讨了量化技术在深度学习模型优化中的不同策略，特别是Q-PEFT（参数高效微调的量化）与QAT（量化感知训练）之间的区别，以及它们与后训练量化(PTQ)的关系。
摘要由CSDN通过智能技术生成

红色高亮的方法表示它们属于参数高效微调的量化方法（Q-PEFT：Quantization for Parameter-Efficient Fine-Tuning），绿色高亮的方法表示它们属于与量化感知训练（QAT：Quantization-Aware Training）相关的方法，其他方法则属于基于PTQ（Post-Training Quantization）的方法。

https://arxiv.org/pdf/2402.16363.pdf

        

汪汪汪侠客
关注
  • 8
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型（LLM）的量化技术Quantization原理学习
penriver的博客
03-02 6718
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
LLM - 长文本总结处理方案
BITDDD小栈
04-25 2093
LLM 长文总结常用方法。
LLM模型微调方法及经验总结
dzysunshine的博客
07-10 5922
在现在这大规模语言模型（LLM）盛行的时代，由于模型参数和显卡配置的因素，预训练基本是大公司或者高校可以完成的事情，而对于小公司或个人，则只能对LLM进行微调，也就是说微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也尽可能实现与全量参数微调相当的性能。本文总结几种主流的微调方法，主要包括Freeze方法、P-tuning方法、Lora方法和Qlora方法。
大语言模型LLM量化激活outliers异常值抑制
LuchangLi 的专栏
06-03 1715
突破性技术: 大语言模型LLM量化激活outliers异常值抑制
LLM+赋能研发效能提升
09-07
总结来看，LLM的应用为研发效能提升提供了新的可能性，但同时也带来了新的挑战。我们需要适应LLM带来的变化，学习如何有效地利用这些工具，同时保持对软件工程基本原则的理解和实践，如领域模型设计、人才培养和代码...
如何基于LLM做推荐系统
11-21
LLMRec 提出用三种基于 LLM 的数据增强策略来强化使用 side information 的推荐系统，这三种数据增强策略是：i) 隐式反馈的增强 ii) item-attribute 的增强 iii) user-profile 的增强。 三、挑战 1. 挑战 1---如何...
LLM在推荐系统中的应用.docx
11-21
近年来，大语言模型（LLM）已经被广泛应用于自然语言处理领域，但是如何让LLM有效地助力于推荐系统一直是一个悬而未决的问题。经典的CF范式已经发展了许多年，但是LLM存在着幻觉问题（Hallucination），因此很难适配...
大语言模型LLM面试题及答案
07-23
内容概要：这份文档详细介绍了大语言模型(LLMs)的基础知识、进阶技术、LangChain框架、分布式训练方法以及推理优化技术。文档分为五个主要部分,涵盖了LLMs的架构、训练方法、常见问题及解决方案等内容。 适合人群：...
C2W3.Assignment.Language Models: Auto-Complete.Part1
老毛的博客
07-22 1488
当模型遇到了一个它在训练过程中从未见过的单词，那么它将没有输入单词来帮助它确定下一个要建议的单词。将所有标记词转换为小写，这样原文中大写的单词（例如句子开头的单词）就会与小写单词得到相同的处理。将每个单词列表添加到句子列表中。为了在预测过程中处理未知词，可以使用一个特殊的标记 “unk”来表示所有未知词。语言模型为单词序列分配概率，使更 “可能 ”的序列获得更高的分数。这里不会使用数据中出现的所有分词（单词）进行训练，只使用频率较高的单词。需要一个双 for 循环，一个用于句子，另一个用于句子中的标记。
【自然语言处理】概论（一）：自然语言处理概要
古月居
07-25 448
语言：语言就广义而言，是采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉等方式来传递。可以分为:自然语言、动物语言、计算机语言。。。自然语言人类在发展过程中形成的一种信息交流方式，包括口语和书面语，反映人类的思想。它自然地随文化演化，是人类用来沟通的指令，可以通过视觉、声音或触觉等方式传递。定义：自然语言处理是计算机科学和人工智能的一个分支，它旨在开发能够理解和生成人类语言的技术。通过建立形式化计算模型来分析、理解和生成自然语言的学科。
【Langchain大语言模型开发教程】评估
qq_47982709的博客
07-24 469
这里我们打印一下这个生成的example，发现是一个列表长下面这个样子；4、初始化一个LLM并创建一个RetrievalQ链；让大语言模型对实际答案和预测答案进行对比并给出一个评分；让大语言模型来为我们每个example来生成答案；我们再次执行来查看chain中的细节；那我们是不是可以使用语言模型来评估呢；3、创建向量数据库（内存警告⚠）；最后，我们可以打印一下看看结果；所以这里我们需要进行一步提取；1、引包、加载环境变量；我们初始化一个评估链；
【Langchain大语言模型开发教程】基于文档问答
qq_47982709的博客
07-21 745
该chain包含三个主要的参数，其中llm参数是我们的智谱GLM4, retriever参数设置设置为前面我们由DocArrayInMemorySearch创建的retriever，最后一个重要的参数为chain_type，该参数包含了四个可选值：stuff，map_reduce，refine，map_rerank，接下来我们简单了解一下这些选择的区别；刚刚我们输入了一个问题并在向量数据库中检索到了一些相关信息，接下来我们将这些信息和问题一起输入到大语言模型中，使用markdown的格式展示一下效果；
【NLP自然语言处理】为什么说BERT是bidirectional
m0_64280569的博客
07-25 271
我们知道，Bert设计时主要采用的是Transformer编码器部分，要论述Bert为啥是双向的，我想从编码器和解码器的注意力机制来阐述。二者区别一个是双向，一个是单向，这也就是我如何理解的Bert采用的是双向编码器了。在看这篇博客前，需要对Transformer有一定的了解，在这里推荐博客。而解码器部分采用的是Masked Attention，
大模型llama结构技术点分享；transformer模型常见知识点nlp面经
最新发布
weixin_42357472的博客
07-25 112
大模型模型结构，大模型nlp面经，transformer
大型语言模型的生物医学知识图优化提示生成
发呆的比目鱼的博客
07-21 1087
KG-RAG框架，较好的结合了生物医学知识图谱SPOKE和LLM的优势。SPOKE是一个开放知识图谱，提供数据下载和开放API，整合了超过40个公开可用的生物医学知识源，涵盖了基因、蛋白质、药物、化合物、疾病等概念和概念之间的关系，可以为LLM提供一个强大的医疗领域知识。研究人员对KG-RAG框架进行了广泛的测试，包括单跳和双跳提示、药物再利用查询、生物医学真假问题和多项选择题。结果表明，KG-RAG显著提高了LLMs的性能，特别是在具有挑战性的多项选择题数据集上，LLMs都取得了较大的提升。
大语言模型-Bert-Bidirectional Encoder Representation from Transformers
weixin_42045968的博客
07-23 1092
Bert是2018年10月由Google AI研究院提出的一种预训练模型。 主要用于自然语言处理（NLP）任务，特别是机器阅读理、文本分类、序列标注等任务。 BERT的网络架构使用的是多层Transformer结构，有效的解决了长期依赖问题。
LLaMA: 开源的大规模语言模型
UnityBoy的博客
07-21 528
在人工智能领域，大型语言模型（Large Language Models, LLMs）已经成为研究和应用的热点。近期，Meta（Facebook的母公司）推出了LLaMA（Large Language Model Meta AI），这是一个系列的高性能、可扩展的大规模语言模型。
llm 量化 fp16还是bf16
07-28
在LLM（低级实用模型）中，FP16（半精度浮点数）和BF16（Brain Floating Point-16）都是量化的方法，用于减少模型的计算量和存储需求。 FP16使用16位浮点数来表示模型参数和计算结果，相比于原始的32位浮点数，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值