![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 88
kk晏然
这个作者很懒,什么都没留下…
展开
-
【大模型】微调实战—使用 ORPO 微调 Llama 3
ORPO 是一种新颖微调(fine-tuning)技术,它将传统的监督微调(supervised fine-tuning)和偏好对齐(preference alignment)阶段合并为一个过程。这减少了训练所需的计算资源和时间。此外,实证结果表明,ORPO 在各种模型规模和基准测试(benchmarks)上优于其他对齐方法。在本文中,我们将使用 ORPO 和 TRL 库对新的 Llama 3 8B 模型进行微调。原创 2024-07-08 21:43:35 · 937 阅读 · 0 评论 -
【大模型】大模型相关技术研究—微调
Prefix Tuning的灵感来源是,基于Prompt Engineering的实践表明,在不改变大模型的前提下,在Prompt上下文中添加适当的条件,可以引导大模型有更加出色的表现。大模型中有其中一部分参数,是非常重要的,是影响大模型生成结果的关键参数,这部分关键参数就是上面提到的低维的本质模型。QLoRA就是量化版的LoRA,它是在LoRA的基础上,进行了进一步的量化,将原本用16bit表示的参数,降为用4bit来表示,可以在保证模型效果的同时,极大地降低成本。而用了QLoRA之后,只需要48GB。原创 2024-07-08 21:38:23 · 582 阅读 · 0 评论 -
【大模型】大模型相关技术研究,资料整理
大模型推理性能优化的一个常用技术是KV Cache,该技术可以在不影响任何计算精度的前提下,通过空间换时间思想,提高推理性能。生成式generative模型的推理过程很有特点,我们给一个输入文本,模型会输出一个回答(长度为N),其实该过程中执行了N次推理过程。即GPT类模型一次推理只输出一个token,输出token会与输入tokens 拼接在一起,然后作为下一次推理的输入,这样不断反复直到遇到终止符。其实,KV Cache 配置开启后,推理过程可以分为2个阶段:1、预填充阶段:发生在计算第一个输出t原创 2024-07-06 17:07:04 · 944 阅读 · 0 评论 -
【大模型】什么是大模型框架?常用的大模型框架盘点对比
大模型框架是指用于训练、推理和部署大型语言模型(LLMs)的软件工具和库。这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能,以便更好地利用硬件资源(如GPU和TPU)来处理庞大的数据集和复杂的模型结构。大模型框架的优点高效性:通过优化计算和内存管理,这些框架能够显著提高训练和推理的速度。可扩展性:支持分布式训练,可以在多个GPU或TPU上运行,适用于大规模数据集和复杂任务。灵活性:提供丰富的API和工具,使得研究人员和工程师可以方便地进行定制化开发。原创 2024-07-06 16:50:40 · 1318 阅读 · 0 评论 -
【大模型搭建】部署Ollama,pull失败,手动构建方案
Ollama 是一个专注于简化大规模机器学习模型开发的框架。它提供了一系列工具来帮助开发者轻松地定义、训练和部署大型语言模型。优点:• 提供了简洁的API,易于上手。• 支持多种硬件加速选项,如GPU和TPU。• 内置了许多预训练模型,方便快速开始实验。缺点:• 对一些高级功能支持有限,需要手动实现。• 高并发性能受限,更新中。原创 2024-07-05 22:30:43 · 728 阅读 · 0 评论