从Qwen基础模型看LLM的技术发展

已于 2025-01-09 17:04:56 修改
阅读量1.8k 收藏 21
点赞数 40
文章标签： nlp 自然语言处理 prompt 人工智能 回归 文心一言
于 2024-12-04 21:03:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python_vb/article/details/144223039
版权

从Qwen基础模型看LLM的技术发展

Qwen一直是开源dense Model的领头羊（至少中文超越LLAMA），本文将梳理Qwen1-2.5四个版本的基础模型差异，管中窥豹看看LLM技术的发展趋势；后续会发表CODE，MATH，O1等细分方向的研究进展；
本文所有内容来源于Qwen团队的技术论文+huggingface开源的代码细节
Qwen虽然起步晚（ChatGPT22年底发布，LLAMA23年3月开源，Qwen很大程度起步于LLAMA，8月份发布第一个7B模型）,但是现在已经站稳了脚跟

差异Qwen1Qwen1.5Qwen2Qwen2.5
发布时间23年8-9月24年2月24年6月24年9月
预训练技术2K上下文,3T tokens4K->32K, 7T tokens18T tokens
后训练技术SFT+PPO，Rope+logn+window外推到32KSFT, DPO+PPOSFT, DPO，YARN+Chunk外推128K
模型结构LLAMA结构GQA
额外细节PPO细节、ReAct+self insturct构造微调样本离线DPO+在线DPO对齐，自动化SFT+DPO数据集构造
关键结论超越LLAMA2一炮而红生态发展，集成transformers12T<7T, 鼓励DPO，自动化数据生成生成8K，结构化输出，系统提示增强

绪论

Qwen系列是一个基于Transformer的语言模型，通过预测下一个词的任务进行预训练；模型结构上采用Dense Decoder-only Transformer结构（Qwen-MOE效果一般不做讨论），采用了一种在编码不同语言信息方面具有高效率的Tokenizer（15wBBPE ）；
1. 从预训练预料的2到18TB；
2. 预训练上下文的2K-4K-32K的提升
3. 位置编码从Rope->NTK->YARN，并结合window attention或chuck attention机制提升长上下文能力
4. 对齐技术从PPO->DPO，数据生成依赖rejection sampling+Reward的数据飞轮
5. 模型结构基本不变化，都是causal attention+swiglu+pre rmsnorm， GQA也称为主流
6. 肉眼可见的技术报告减少，开源变成了开权重，没有研究人员可以为Qwen的下一代发展做出贡献
7. Coder\Math模型对contunue pretrain+post training, 反哺基座模型的能力
8. VL，Audio模型跟在base model后面喝汤，很快就发布了

Qwen1 系列

Qwen的模型版本
一句话总结：3T的预训练Tokens，基于SFT+PPO的后训练对齐方案；2K的训练上下文，32K的推理最大上下文长度（NTK ROPE+logn+window），以及15万大小的词表（对多语言非常友好，一般不需要拓展词表适配新语言）；模型结构上采用RoPE相对位置编码、SwiGLU激活函数、RMSNorm；模型在MMLU和CMMLU上分别为77和83分，MATH得分35,落后于GPT3.5; 基于ReAct的prompt模版训练模型，得到tool-use的能力；

Tokenizer

采用UTF-8字节级别的BPE tokenization方式，并依赖tiktoken这一高效的软件包执行分词
Token包含两种类型：从BBPE算法在语料库中学到的普通字节Token；用于特殊信号控制的str类型token。理论上，输入文本中不包含特殊token，它们仅在tokenization后由开发者手动加入。Qwen-7B-Chat中有<|endoftext|>、<|im_start|>以及<|im_end|>和额外的留存token。Pad token的概念并不适用，不参与Loss计算。
有关词表合并扩充的code:

使用了超过15万token大小的词表。 该词表在GPT-4使用的BPE词表cl100k_base基础上，对中文、多语言进行了优化， 词表对数字按单个token位切分

预训练

Qwen-72B模型一方面利用了部分开源通用语料， 另一方面也积累了海量全网语料以及高质量文本内容，去重及过滤后的语料超过3T tokens。 囊括全网文本、百科、书籍、代码、数学及各个领域垂类。
数据生成流程： HTML文本识别->MiniHash LSH数据去重->数据评分于过滤->手动采样检查->高质量上采样->多任务指令数据预训练
2K的上下文长度，4M的batch size, 3e-4训练模型

无需训练的长度外推方案：
NTK-aware interpolation 增加上下文长度，压缩位置编码中 高维低频 部分的间隔，调制base即可简单实现，更高级的方法如YARN在qwen2中使用
LogN-scaling 将查询和值的点积重新缩放log_m^n,n为当前上下文长度，确保随着上下文长度的增长，注意力值的熵保持稳定
注意力分数的熵，在one-hot编码时为0，不确定性最低
在均匀分布时熵为logn, 熵达成最大值
当长度增加后，我们不希望新的token让注意力分布发生变化，即变得分散，所以log_m^n会让其分布更加紧凑，整体熵保持稳定

窗口注意力 较低层使用较短的窗口，为较高层分配更长的窗口加速训练

后训练

SFT: 损失掩码应用于系统和用户输入
SFT数据格式
Reward Model:
Preference model pretraining and fine-tuning on high-quality dataset
一般是在PLM基础上构造偏好数据集进行训练，需要考虑prompt多样和复杂程度，response采用PLM的不同采样策略生成，人类反馈标注偏好程度；
prompt-positive-negetive
Reward Model将PLM的end token polling输出reward即可

PPO:
policy model, value model, reference model, and reward model.
参考以下博文RLHF
近端策略优化算法
关于Value Model: Reward Model只能给出当前状态下RLHF系统的即时性奖励，而Value Model会根据当前轨迹和reward给出长期期望总收益，通常从Reward Model初始化
t时刻的总收益

Actor/Value Model在RLHF阶段是需要训练的
在这里插入图片描述
Actor loss：用于评估Actor是否产生了符合人类喜好的结果，将作用于Actor的BWD上。
Critic loss：用于评估Critic是否正确预测了人类的喜好，将作用于Critic的BWD上。
在这里插入图片描述
在这里插入图片描述

Agent能力：
基于self-instruct prompt Qwen，follow ReAct的格式生成SFT样本，在SFT阶段加入训练数据构造了2K条sample；Qwen Team 在tool use，code generation 上做了两个benchmark，效果显示远落后于GPT4

模型结构
QWenLMHeadModel
"hidden_size": 8192,
  "no_bias": true, #QKV layer有bias
  "num_attention_heads": 64,
  "num_hidden_layers": 80,
  "rope_theta": 1000000,
  Pre-Norm & RMSNorm
  Embedding and output projection分离权重以保证效果
模型效果

MMLU，C-Eval，GSM8K, MATH, HumanEval, MBPP, BBH, CMMLU等目前较流行的benchmark，对模型的中英知识能力、翻译、数学推理、代码等能力进行综合评测
OpenCompass 上有各个模型的指标实时对比

Qwen1.5 系列

一句话总结：支持了例如vLLM、SGLang、AutoGPTQ等框架,各种参数规模和量化版本提出
按照Qwen自己的话 “我们相信这次发布虽然在模型质量上是一小步，但在开发者体验上却是一大步”

Qwen2 系列

一句话总结差异：
全系适配了Group Query Attention降低推理阶段的显存占用；小模型使用了tie embedding上输入的Embeding martix参数共享output head；
预训练模型均在32K tokens的数据，在使用YARN或Dual Chunk Attention后，能在128K的PPL和大海捞针中表现出色；针对多语言27种进行了预训练和SFT的增强，并优化语言转换问题；理解、知识、代码、数学及多语言等多项能力上均显著超越LLAMA3和Qwen110B模型。
Qwen2概览

预训练

7T的预训练数据集，增加到12TB效果没有改进，证明质量》》》数量
Qwen1的预训练窗口2K，现在预训练是4K，最后阶段增加到32K提升上线，ROPE base需要提高100倍来适配更新后的频率。训练后可以用Dual Chunck和YARN进一步提升，不确定Qwen团队是直接在这些机制上训练还是training-free，我个人偏向于后者。

后训练

500K条sample for SFT, 2epoch, very small lr, 32K max_length
离线DPO偏好优化，最大化postive negtive response的似然差
在线DPO：多次采样，Reward评分构造DPO数据，Online Merging Optimizer

探索了如何采用多种自动方法以获取高质量、可靠、有创造力的指令和偏好数据，其中包括针对数学的拒绝采样、针对代码和指令遵循的代码执行反馈（生成测试用例执行）、针对创意写作的回译、针对角色扮演的scalable oversight、等等。在训练方面，结合了有监督微调、反馈模型训练以及在线DPO等方法。我们还采用了在线模型合并的方法减少对齐税
接下来逐个介绍上述技术的细节：

  1. 协作数据注释：
    第一步：构造大规模指令数据集，使用InsTag细粒度标注
    第二步：根据标签的多样性、语义丰富度、复杂性和意图完整提取指令
    第三步：基于Tree-Instruct丰富指令复杂性
    第四步：产出response并排序，构造Reward和DPO的偏好数据

  2. 自动数据合成：
    Rejection Sampling：拒绝采样，得出正确答案的路径保留，错误答案路径构造偏好response的negetive sample。拒绝采样技术的核心思想是通过设定一个合适的接受-拒绝准则，实现对目标概率分布的近似采样。这种方法适用于那些难以直接采样的复杂分布，在LLM的应用中，目标分布（理想response）很难获取，多次采样人工选择（接受阈值）实现近似采样。
    针对创意写作的回译: 先有高质量文本response，再生成多样性的instruction
    针对角色扮演的scalable oversight： 改为阅读理解任务，LLM阅读角色定义并生成instruction and reponse

  3. DPO对比学习

    只有一个Actor和reference model，成对数据即可训练，最大化不同response的似然；后续SimPo缓解了长度依赖问题。

  4. Online Merging Optimizer DPO使用的优化器
    在这里插入图片描述
    SFT-PRE的梯度更新方向是正确的优化方向，因此RL-SFT的梯度方向也应该是这样，约束参数更新收到SFT方向的控制，减少对齐税

模型结构

Tokenizer不更新
模型结构上全面使用Group Query Attention,多个query共享一个KV对；
增加Dual Chunk Attention和YARN进行长度外推,但是从transformers的代码仓库只能看到YARN
Dual chunk attention类似于分块滑动注意力机制，和LongLora的目标类似但是不需要训练模型,其[code base]应该要手动添加

模型效果

结果无需多言，SOTA,SOTA，还是SOTA
使用的评测数据集

Qwen2.5 系列

一句话总结：太强了Qwen，旗舰模型登顶Compass；18Ttokens的预训练语料库，后训练阶段包含1M条SFT样本，多阶段的强化学习：离线DPO和在线GRPO（来源于deepseek-math，在qwen2.5-math也使用了此技术），后训练对于提升人类偏好，长文本生成，结构内容分析和Agent能力至关重要。
在这里插入图片描述

关键技术：

QKV bias+ROPE 通过bias: ab|m-n|增强了局部注意力的能力，注意力局部化是语言模型外推性的关键。

预训练阶段：

  1. 数据过滤：基于Qwen2-instruct进行comprehensive，multi-dimensional的评估打分，分类

  2. 数据集成了coder和math专有模型的专家数据

  3. 基于上一代模型和私有Reward model过滤得到的code\math\knowledge合成数据

  4. 数据混合上：娱乐内容downsample, underrepresented的内容过采样确保信息的rich

  5. batch_size和learning_rate的scaling law

正常的scaling law流程（个人理解）：

同一组数据下，训练多个不同尺寸的model（设计最优参数的选择），得到最优尺寸； 不同数据规模，重复上述过程

绘制best_model_size-----data size曲线，从而预测已有数据的最优模型尺寸，以及最优模型的performance，从数据和模型可以推导资源要求

qwen团队增加batch_size和learning_rate的scaling law探索，应该是最优模型的batch,lr作为数据点拟合曲线，得到任意数据大小下最优模型的batch,lr的规律，难点还是在数据约束下超参的消融实验，是个庞大的消融工程

long context:高base长文本pretrain+YARN+DCA实现4倍无损外推，和qwen2一致

后训练：

1M sample，包含长序列（o1的启发），数学问题解决、编码、指令遵循、结构化数据理解、逻辑推理、跨语言迁移和稳健的系统指令。

  • 开发了长响应数据集（Quan et al., 2024）。我们使用反翻译技术从预训练语料库中生成长文本数据查询，施加输出长度约束，并使用Qwen2过滤掉低质量的配对数据
  • Qwen2.5 Math的COT数据，利用了LLM合成-》Reward+参考答案过滤的生成方式
  • Code基于代码执行验证和language-specific AGent的数据生成方案
  • LLM同时生成指令遵循结果和验证代码
  • 基于COT的结构化数据理解
  • 70K条逻辑推理sample
  • 专用评论模型、多AGent协作打分系统
  • reward模型难以区分的推理、事实和指令遵循能力等存在标准答案的问题，采用DPO离线构造数据训练

150Ksample，SFT model rejection sampling。执行反馈和答案匹配

  • 有益有害、真理、连贯、相关性、无偏性采用GRPO在线训练

reward model: 偏好数据集构建，响应是从Qwen模型的检查点生成的，这些模型在不同的训练阶段使用不同的方法（sft、DPO和rl）进行了微调。前面DPO的训练数据也集成到该数据集中。

用于训练奖励模型的查询集与RL训练阶段使用的查询集相同。我们为每个查询采样8个响应，reward打分评估。

在这里插入图片描述
在这里插入图片描述

GRPO是PPO的一个简化版本
在这里插入图片描述
在这里插入图片描述

后续会聊聊专有任务的模型Qwen-coder和Qwen-Math系列，以及最新的O1路线的QWQ模型

MOE的代表deepseek（专家并行技术可以在推理阶段让超大参数规模的模型像小模型一样省钱，qwen-turbo和qwen-plus就是MOE架构，对标4o-turbo和4o模型; 但是虽然MOE模型的预训练与部署成本较低，但是对于小团队而言，700B的整体参数模型微调是非常昂贵的，特定领域的应用不如72B的dense Model划算，毕竟两张80G的卡就能量化部署了）

最后探讨多模态的Qwen-Audio和Qwen-VL系列，均发展至第二代
在多模态Qwen-VL探讨过程中，会发现学术圈竞争非常激烈LLAVA，InterVL, BLIP2等，但是效果距离商业模型GPT4O存在的差距更大更明显，这个赛道似乎更卷，技术结构也是五花八门的，但是真正做到one more thing级别的产品还是没有，多模态的scalling law没有被开源社区验证，甚至用户的需求也不如语音、文本端迫切，视觉多模态的火热越来越像一个吃力不讨好的伪需求（技术难度高成本大还不赚钱）

有任何问题欢迎留言讨论，分享技术！

codgodtao
关注
Qwen2.5-Max 模型实测：阿里最强“非推理”大模型，能力如何？
Code_流苏：在代码中寻诗意，在实践中觅真知
04-11 1088
Qwen2.5-Max 模型实测：阿里最强“非推理”大模型，能力如何？一起来看看吧！
第二代Qwen大模型发布，阿里巴巴一口气开源了30个不同参数规模的模型
DataLearnerAI
02-06 3903
但是现在出来的Qwen-1.5与Qwen2-Beta在评测结果上是差不多的，所以这里的Qwen1.5应该就是Qwen2-Beta改名的结果。而这6个不同参数规模版本的模型，每一个都开源了基础预训练版本、聊天优化版本、Int4量化、Int8量化以及AWQ版本，所以相当于每一个参数规模的模型都有5个版本，因此一共发布了30个版本的模型！这次阿里发布的模型应该有30个，数量非常多包含6个不同参数规模的版本，分别是5亿、18亿、40亿、70亿、140亿和720亿。
Qwen大模型简介
机器人涮火锅的博客
08-08 1万+
Qwen系列大模型的参数规模为18亿（1.8B）、70亿（7B）、140亿（14B）和720亿（72B），包括基础模型Qwen，即Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B，以及对话模型Qwen-Chat，即Qwen-1.8B-Chat、Qwen-7B-Chat、Qwen-14B-Chat和Qwen-72B-Chat。Qwen1.5系列大模型包含6个不同参数规模的版本，分别是5亿、18亿、40亿、70亿、140亿和720亿。相比较第一代，增加了5亿规模版本和40亿参数规模版本。
Qwen模型架构
致大尽微 家国天下
09-19 4688
基于PyTorch和库的 Qwen2 模型实现。
LLM系列 | 26：阿里千问Qwen模型解读、本地部署
热门推荐
ljp1919的专栏
11-04 2万+
Qwen 是一个全能的语言模型系列，包含各种参数量的模型，如 Qwen（基础预训练语言模型，即基座模型）和 Qwen-Chat（聊天模型，该模型采用人类对齐技术进行微调）。基座模型在众多下游任务中始终表现出卓越的性能，而聊天模型，尤其是使用人类反馈强化学习（RLHF）训练的模型，具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力，可用于创建agent应用程序。即使在使用代码解释器等复杂任务上，Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。
中国国内首个突破100B超参的开源 LLM 诞生了——Qwen 110B
weixin_41446370的博客
05-11 1348
新发布的 Qwen2.5 与前身 Qwen2.0 相比，在推理、代码理解和文本理解方面有了显著的进步，现在可以通过 Model Studio 获得。根据大型模型评估系统 OpenCompass 的数据，Qwen2.5 在 SOTA（State-of-The-Art）LLM 中展示了各个类别的竞争结果。作为开源社区的忠实贡献者，阿里云还提供各种尺寸的 Qwen 模型。
Windows安装ollama本地部署千问qwen2.5大模型
YXWik的博客
11-19 1万+
ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）1b是10亿参数，通常1B，意味着需要机器需要1G以上的内存，大的数据通常在需要更高性能的任务中使用。Python3.13.0版本安装open-webui时报错。默认是7b，但是需要切换下，这样右边的命令参数才会变。双击下载的OllamaSetup.exe，无脑安装。安装open-webui（web图形化聊天）这里的b代表的是参数数据。方案一：docker安装。
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
xxue345678的博客
09-19 2万+
进行微调。在这里，我们将展示可直接运行的demo。
fire_基于MNN-llm的安卓手机部署大语言模型：Qwen1.5-0.5B-Chat_Qwen1.
09-02
本文档详细介绍了一套系统，该系统基于MNN（Mobile Neural Network）-llm技术，实现了一个名为Qwen1.5-0.5B-Chat_Qwen1.5-0.5b-chat-android的大语言模型在安卓手机上的部署方案。 首先，这套系统的名称“Qwen1.5-...
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）
最新发布
03-04
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Agent, Diffusion, Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）.zip 从零开始构建大模型（将整个模型...
大模型部署-基于TensorRT-LLM部署Qwen1.5大语言模型-附项目源码+流程教程-优质项目实战.zip
10-15
随着深度学习技术的迅速发展，大语言模型因其广泛的应用场景而备受关注。大模型能够处理复杂的自然语言理解和生成任务，从而在机器翻译、智能客服、智能问答系统等众多领域发挥重要作用。然而，随着模型规模的增大，...
大模型部署-将Qwen1.5大语言模型导出为ONNX或TFlite-附项目源码+流程教程-优质项目实战.zip
10-15
本项目专注于将Qwen1.5大语言模型导出为ONNX或TFlite格式，旨在提供一种优化的模型部署方案，使开发者能够更高效地将模型应用到不同平台和设备上。Qwen1.5是一种大型语言模型，具有较高的语言理解和生成能力，它能够...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
10-19
在当今人工智能的浪潮中，高效地部署大型机器学习模型已成为技术发展的关键点。本教程将引导您完成使用TensorRT-LLM部署Qwen-7B这一大型模型的整个过程，并附上优化和分析流程的详细教程。此项目不仅为深度学习爱好...
阿里通义千问：本地部署Qwen1.5开源大模型
m0_37559973的博客
06-06 7421
通义千问为阿里云研发的大语言系列模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。
Qwen1.5大语言模型微调实践
lvaolan168的博客
11-11 1640
在人工智能领域，大语言模型（Large Language Model，LLM）的兴起和广泛应用，为自然语言处理（NLP）带来了前所未有的变革。Qwen1.5大语言模型作为其中的佼佼者，不仅拥有强大的语言生成和理解能力，而且能够通过微调（fine-tuning）来适应各种特定场景和任务。本文将带领大家深入实战，探索如何对Qwen大语言模型进行微调，以满足实际应用的需求。
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
人工智能领域博客
06-03 9175
本文首先对Qwen1.5进行了概述，随后结合个人工作简要介绍了模型架构，最后对采用LLaMA-Factory大模型训练框架对Qwen1.5-14B-Chat的微调训练与推理进行测试。小道消息，马上就要正式发布Qwen2了，本博客也会第一时间跟进新版本的变化。
如何看待阿里巴巴最新开源的第1.5代千问大模型Qwen-1.5系列？
这个时代，作为程序员可能要学习小程序
03-24 1540
击上方关注 “终端研发部”设为“星标”，和你一起掌握更多数据库知识1.5代千问大模型系列的发布，预示着AI之战已打响！通义千问是什么？通义千问是阿里云研发的通义千问大模型系列，基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。截止到目前为止，QWen支持1.8B、7B、14B、72B、VL等多种参数规模...
纯新手 docker langchain Qwen1，万字长文
2401_84139697的博客
04-09 842
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！
Qwen 开源项目安装与使用指南
gitblog_00556的博客
08-08 979
Qwen 开源项目安装与使用指南 QwenThe official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors/qw/Qwen 目录结构及介绍 在下载并解压了 Qwen 的开源代码之后，你会看到以下主...
Qwen2-VL-7B-Instruct Qwen2-VL-7B
01-27
### Qwen2-7B-Instruct Model Information and Usage #### Overview of the Qwen2-VL-7B-Instruct Model The Qwen2-VL-7B-Instruct model is a large-scale, multi-modal language model designed to handle various natural language processing tasks with enhanced capabilities in understanding visual content. This model has been pre-trained on extensive datasets that include both textual and image data, making it suitable for applications requiring cross-modal reasoning. #### Installation and Setup To use this specific version of the Qwen2 series, one needs first to ensure proper installation by cloning or downloading the necessary files from an accessible repository. Given potential issues accessing certain websites due to geographical restrictions, users should consider using alternative mirrors such as `https://hf-mirror.com` instead of attempting direct access through sites like Hugging Face[^3]. For setting up locally: 1. Install required tools including `huggingface_hub`. 2. Set environment variables appropriately. 3. Execute commands similar to: ```bash huggingface-cli download Qwen/Qwen2-VL-7B-Instruct --local-dir ./Qwen_VL_7B_Instruct ``` This command will fetch all relevant components needed for running inference against the specified variant of the Qwen family models. #### Fine-Tuning Process Fine-tuning allows adapting pretrained weights into more specialized domains without starting training anew. For instance, when working specifically within the context provided earlier regarding Qwen2-VL, adjustments can be made via LoRA (Low-Rank Adaptation), which modifies only parts of existing parameters while keeping others fixed during optimization processes[^1]. #### Running Inference Locally Once everything is set up correctly, performing offline predictions becomes straightforward once dependencies are resolved. An example workflow might involve loading saved checkpoints followed by passing input prompts through them until outputs meet desired criteria[^2]: ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("./Qwen_VL_7B_Instruct") model = AutoModelForCausalLM.from_pretrained("./Qwen_VL_7B_Instruct") input_text = "Your prompt here" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` --related questions-- 1. What preprocessing steps must be taken before feeding images alongside text inputs? 2. How does performance compare between different quantization levels offered by GPTQ? 3. Are there any particular hardware requirements recommended for efficient deployment? 4. Can you provide examples where fine-tuned versions outperform general-purpose ones significantly?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值