ChatGLM、Baichuan、LLama、Vicuna、Gemini、Qwen2.5对比总结

大模型优化：ChatGLM2与LLaMA2的关键改进与速度提升,
已于 2025-04-24 19:05:49 修改
阅读量1.4k 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： 人工智能 机器学习 深度学习
于 2024-02-28 23:14:54 首次发布
原文链接：https://www.zhihu.com/question/608732789/answer/3141379386

ChatGLM2-6B相对于ChatGLM1-6B（GLM）的重要改进点

  • 使用了Flash Attention将Context Length由ChatGLM的2k扩展到了32k
  • 使用Multi-Query Attention大幅提高了模型的推理速度
  • 使用了混合目标函数，该目标函数在ChatGLM中已经提出来了，但当时效果不好。ChatGLM2加入了Document-level Masking和Sentece-level Masking
  • 仓库中提供了友好的P-tuning代码，fine-tuning模型非常方便

这部分转载自 https://www.zhihu.com/question/608732789/answer/3141379386

Vicuna相比LLaMA1的改进点

Vicuna是LLama经过Instruction Fine Tune的版本。

Instruction Fine Tune和Prompt Engineer的区别

IFT involves actually training the model by changing its weights. The LLM’s weights are not changed in prompt Engineer

部分转载自 https://community.deeplearning.ai/t/confusion-between-instruction-fine-tuning-vs-prompt-engineering/491824

LLama1相比GPT2的改进

  • 首次引入RMSNorm层​（去均值计算的LayerNorm变体）替代传统LayerNorm，提升计算效率，RMSNorm使用PreNorm更多
  • 采用SwiGLU激活函数替代ReLU，增强非线性表达能力
  • ​RoPE旋转位置编码突破传统绝对位置编码限制，支持长序列建模

LLama2相比LLama1的改进

  • 模型结构基本和llama一样，transformer decoder结构，RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。
  • 上下文长度是由之前的2048升级到4096，可以理解和生成更长的文本。
  • 7B和13B 使用与 LLaMA 相同的架构，34B和70B模型采用分组查询注意力（GQA）。For speed up decoding! 自回归解码的标准做法(past key-value 机制)是缓存序列中先前标记的k,v矩阵，从而加快注意力计算速度。但上下文长度、批量大小、模型大小较大时，多头注意力(MHA)中的kv缓存无疑巨大。所以采用分组查询注意力机制（GQA）可以提高大模型的推理可扩展性。它的工作原理是将键和值投影在多个头之间共享，而不会大幅降低性能。可以使用具有单个KV投影的原始多查询格式（MQA）或具有8KV投影的分组查询注意力变体（GQA）

Llama3相比LLama2的改进

  • 全面采用GQA机制（覆盖8B/70B所有版本），推理速度提升30%
  • ​128K超大规模词汇表​（LLama1/2为32K），压缩率提升15%，支持30+语言
  • 引入动态掩码技术，确保8K上下文窗口的跨文档处理安全性

Gemini

实际上就是把text、audio、vision全部tokenizer，再过transformer的思路，以下来自于Gemini: A Family of Highly Capable Multimodal Models，
在这里插入图片描述

Qwen2.5的改进

  • RoPE面临“外推问题”，Qwen2.5使用ABF（Adjustable Base Frequency）技术调整RoPE中的基频（base frequency），即旋转角度的底数，来增强模型在长上下文中的表现。具体来说，将基频从10000增加到500000，可以缩小RoPE对远端token信息的衰减效应。
  • 另外，Qwen2.5使用两个关键策略：YARN和DCA（Dual Chunk Attention）解决长序列在推理时遇到的困难。在处理长上下文问题时，YARN（Yet Another RoPE eXtension）和DCA（Dynamic Context Adjustment）是两种重要的技术，它们各自采用不同的方法来提高大型语言模型（LLM）在长文本处理中的性能。
  • YARN采用“按部分”插值策略，在嵌入空间的不同维度上进行操作，并引入温度因子来调整长输入的注意力分布。这种方法使得模型在处理长文本时能够保持较高的性能。DCA（Dynamic Context Adjustment）是一种动态调整上下文的方法，旨在进一步优化模型在处理长文本时的表现。DCA结合了自回归技术和位置信息，通过动态生成上下文表示来增强模型对长文本的理解能力。这使得模型在面对复杂任务时能够保持较高的性能。
taoqick
关注
LLaMA与ChatGLM选用比较
cangqiongxiaoye的博客
11-15 703
LLaMA与ChatGLM选用比较
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
强化学习曾小健
05-22 2076
有效的微调对于使大语言模型适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们提出了LlamaFactory，一个集成了一套尖端高效训练方法的统一框架。它允许用户通过内置的Web UI LlamaBoard灵活定制100+大语言模型的微调，而无需编码。我们凭经验验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它已在发布，并已获得超过 13,000 个 star 和 1,600 个分叉。LlamaFactory：100+语言模型统一高效微调。
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
程序员成长软技能
01-06 1917
论文原文：Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison
详细说明QwenVL的架构，以及它和LLaVa的异同和优劣
强化学习曾小健
08-01 1107
Qwen-VL 和 LLaVA 都是先进的多模态模型，各自在不同的应用场景中展现出优势。Qwen-VL 在中文支持、高分辨率图像处理和专业领域应用方面表现突出，而 LLaVA 在英文任务和移动端部署方面更具优势。选择哪个模型取决于具体的应用需求和资源限制。随着多模态模型的不断发展，未来可能会出现更多融合两者优点的混合架构，以实现更全面的视觉语言理解能力。[AI生成]
如何安装和使用vicuna
算法笨蛋
04-27 2374
Vicuna 是基于 LLaMa 微调得来的大规模语言对话模型。本文以 Vicuna-7B 模型为例，安装和使用 Vicuna。若需使用 Vicuna-13B 模型，仅需把参数 7B 改成 13B 即可。
ChatGLM、DeepSeek、Qwen、Llama 模型对比
学亮编程手记
02-26 3251
ChatGLM：中英双语对话与低显存部署的标杆，适合轻量级应用。DeepSeek：高效推理与多任务处理的技术突破者，适合企业级复杂场景。Qwen：中文长文本与垂直领域任务的优化专家。Llama：英文通用场景的经典选择，学术研究友好。
LLaMa、Qwen、ChatGLM、ChatGLM2的区别
weixin_35977125的博客
12-23 9314
原始bert，LayerNorm + multiHeadAttention + dropout + FFN + dropout + x+ FFN：其中x来自第一次FFN之后hidden_states = self.dropout_add(feedforward_output, residual) # x在这。
LLaMA Pro：具有块扩展的渐进式 LLaMA[论文翻译]增量预训练 扩展transformer块
AI生成式技术曾小健
07-08 882
LLaMA Pro：具有块扩展的渐进式 LLaMA https://arxiv.org/abs/2401.02415 Chengyue Wu1,2   Yukang Gan2   Yixiao Ge2 Zeyu Lu3   Jiahao Wang1   Ye Feng4   Ying Shan2   Ping Luo1 1The University of Hong Kong   2ARC Lab, Tencent PCG 3Shanghai Jiao Tong University   4Beijin
Text-to-SQL小白入门（12）Awesome-Text2SQL开源项目star破1000
junewgl
05-01 3353
​ Awesome-text2sql项目是DB-GPT开源社区的子项目，支持中英文两种语言，主要收集了针对大型语言模型和Text2SQL等的精选教程和资源，希望能够共同学习、共同推动Text2SQL领域进步！
LLM+Agent
ttest11的博客
06-13 613
输入：一段新闻正文（source text）模型generate：生成一段摘要文本（prediction）真实标签：人工写的摘要（ground truth）用ROUGE指标，对生成的摘要和人工摘要进行对比打分generate 得到的是模型基于输入生成的预测结果在测试集上 generate 通常表示“让模型看到样本输入，产出完整输出文本”评估指标对比的是生成结果 vs 真实标签整个流程本质上就是用模型实际"写"答案/摘要/回复，然后和标准答案比，看相似度/准确度，用来衡量模型实际水平。优点。
大模型公开可用的模型检查点或 API
weixin_43961909的博客
05-03 1565
    众所周知，大模型预训练是一项对计算资源要求极高的任务。因此，经过预训练的公开模型检查点（Model Checkpoint）对于推动大语言模型技术的渐进式发展起到了至关重要的作用。得益于学术界和工业界的共同努力，目前开源社区已经积累了大量的模型检查点资源，用户可以根据自身研究或开发需求，灵活选择并下载使用这些检查点。此外，对于那些仅需利用模型进行解码生成的用户而言，商业公司提供的闭源模型的 API 接口也是一种便捷的选择。这些接口为用户提供了与模型进行交互的渠道，而无需关心模型内部的复杂结构和训练过程
LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
fjfdg666的博客
12-08 8438
https://github.com/THUDM/ChatGLM-6Bhttps://github.com/THUDM/ChatGLM2-6Bhttps://github.com/THUDM/ChatGLM3其他开源项目。
LLaMA ChatGLM2 ​BLOOM​模型技术分析对比
chaishen10000的专栏
09-08 3754
贝塔是常数或者可训练参数，Swish函数可以看做是介于线性函数与ReLU函数之间的平滑函数.
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
Together_CZ的博客
06-14 2667
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
cjnn0710的博客
07-25 2386
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问。
信息抽取哪家强？ChatGLM3、Qwen、Baichuan2、ChatGPT
Python_cocola的博客
06-13 2488
信息提取（IE）在自然语言处理（NLP）中扮演着至关重要的角色，它通过从非结构化文本中提取结构化信息，从而促进与依赖结构化数据的各种现实世界应用的无缝集成。深入探讨了，特别是零样本条件下，即模型未针对特定任务进行微调。：共选择了5个大型语言模型（LLMs）进行实验：ChatGLM3-6B、Qwen-7BChat和Qwen-14B-Chat、Baichuan2-13B-Chat以及ChatGPT2。除了ChatGPT外，所有其他大型语言模型都是开源的。：所有的实验都可以在1个A40 GPU上完成。
Gemini Pro, GPT 4o, Claude3.5, GLM4，文心一言，Llama3营销文案贴脸对比
riyuexinzhu的博客
07-05 1140
随着各大模型不断更新，大家使用大模型撰写营销文案也蔚然成风，我们接下来使用日月摘星AI竞技场对各大模型的营销文案撰写情况进行直观对比，希望对大家的文案大模型选择有所帮助。
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
AAI666666的博客
01-14 2202
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
大模型入门（一）—— LLaMa/Alpaca/Vicuna
chaishen10000的专栏
06-15 6029
相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
如何使用Llama Factory进行Qwen v2.5的微调训练？
最新发布
09-25
<think> 首先，用户的问题是关于使用LLaMA-Factory对Qwen v2.5进行微调训练的方法。用户指定了参考站内引用，这些引用提供了相关信息。我需要基于这些引用和系统级指令来回答问题。 回顾系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 引用内容： - [^1]: 命令启动微调脚本。 - [^2]: 模型下载、数据集准备、训练、验证等笔记。 - [^3]: 使用WebUI进行训练，包括启动WebUI、步骤配置。 - [^4]: 环境安装、数据集制作等。 用户上一次的问题是在之前的对话中，但在这个上下文中，只有当前的用户查询。查询是："我想获取使用Llama Factory对Qwen v2.5进行微调训练的方法 请问Llama Factory对Qwen v2.5进行微调训练的使用方法"。所以，我需要直接回答这个。 响应结构： - 回答应该结构清晰，帮助用户逐步解决问题。 - 基于引用，提供微调训练的方法。 - 引用相关部分并添加引用标识。 - 生成相关问题。 关键步骤（从引用综合）： 1. **环境准备**：安装LLaMA-Factory和依赖。 2. **模型下载**：获取Qwen2.5模型（如7B或VL版本）。 3. **数据集准备**：准备微调数据，遵循特定格式（如JSON）。 4. **启动训练**：使用命令行或WebUI。 - 命令行方式：如`llamafactory-cli train`。 - WebUI方式：可视化界面操作。 5. **训练监控和导出**：监控训练过程，导出模型。 6. **推理环境**：注意隔离推理环境。 基于引用[^1]：命令行启动微调脚本。 基于引用[^3]：WebUI方式详细步骤。 基于引用[^2]和[^4]：模型下载、数据集准备和环境隔离。 组织回答： - 标题或开头概述。 - 分步说明。 - 使用中文。 - 结尾生成相关问题。 生成相关问题： - 根据主题，生成类似示例中的问题。 数学表达式：在这个主题中，可能不涉及数学，但如果有，比如损失函数，使用$...$格式。例如，如果提到学习率，可以写成$ \alpha $。但这里可能不需要添加数学表达式。 最终响应结构： 1. **引言**：简要介绍方法。 2. **步骤**：逐步分解。 - 步骤1: 环境安装 - 步骤2: 模型下载 - 步骤3: 数据集准备 - 步骤4: 启动训练（命令行和WebUI选项） - 步骤5: 监控和导出 3. **注意事项**：环境和隔离。 4. **相关问题**：生成3-4个相关问题。 </think> 以下是根据您的要求，基于提供的引用信息，整理的LLaMA-Factory对Qwen2.5模型进行微调训练的使用方法。Qwen2.5是通义千问开源的大语言模型系列，包括基础版本（如Qwen2.5-7B）和多模态版本（如Qwen2.5-VL）。LLaMA-Factory是一个高效的微调工具库，支持命令行和WebUI两种方式进行训练。方法分为几个关键步骤，我会结合引用内容逐步解释，确保真实可靠。引用信息来源于共享文档。 ### 1. 环境准备 在开始前，需设置微调环境。建议使用Conda或虚拟环境隔离依赖，避免版本冲突。 - **安装LLaMA-Factory**：克隆仓库并安装依赖。引用[4]提到： ```bash git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" # 安装核心依赖，包括PyTorch和评估工具 ``` 确保Python版本兼容（推荐Python 3.10+）。 - **推理环境隔离**：如果后续需部署推理，需单独创建环境（如使用Conda）。引用[4]强调微调与推理环境分开，例如： ```bash conda create -n qwen_inference python=3.11 -y pip install -r requirements.txt # 参考Qwen文档安装推理依赖 ``` 这防止库冲突导致失败[^4]。 ### 2. 模型下载 下载Qwen2.5预训练模型权重。支持Hugging Face或ModelScope平台。 - **方式选择**： - Hugging Face下载：使用`transformers`库直接加载（需API密钥）。 - ModelScope下载：适合国内用户，速度更快。引用[2]描述了基本步骤： 1. 访问ModelScope页面（如https://modelscope.cn/models/Qwen/Qwen2.5-7B）。 2. 使用代码下载：`from modelscope import snapshot_download; model_dir = snapshot_download('Qwen/Qwen2.5-7B')`。 - **注意事项**：确保模型存放路径正确（如`~/models/Qwen2.5-7B`），后续训练脚本需引用该路径[^2]。 ### 3. 数据集准备 微调需要自定义数据集，格式需符合LLaMA-Factory要求。通常使用JSON格式的文件。 - **数据集结构**：引用[3]和[4]指出，数据集应为键值对形式，例如对话数据： ```json [ {"instruction": "解释牛顿第二定律", "input": "", "output": "$F = ma$，其中$F$是力，$m$是质量，$a$是加速度。"}, {"instruction": "翻译句子", "input": "Hello, world!", "output": "你好，世界！"} ] ``` 保存为`data/Qwen25_sft.json`（文件名可自定义）。 - **关键点**： - 支持监督微调（SFT）、指令微调等任务。 - 数据集路径需在训练脚本中指定（如`data/`目录下）[^3][^4]。 ### 4. 启动微调训练 LLaMA-Factory提供两种方式：命令行脚本（快速高效）和WebUI（可视化操作）。选择其一即可。 #### 方式一：命令行脚本（适合批量操作） 引用[1]给出了基础命令： ```bash llamafactory-cli train examples/train_qlora/qwen_lora_sft_bitsandbytes.yaml ``` - **参数说明**： - `train`: 训练命令。 - `qwen_lora_sft_bitsandbytes.yaml`: 配置文件路径，指定模型、数据集和训练参数（如Qwen2.5-7B版本）。 - 可自定义YAML文件，例如修改`model_name_or_path`为模型路径、`dataset_path`为数据集路径。 - **示例YAML配置**： ```yaml model_name_or_path: "Qwen/Qwen2.5-7B" # 模型名称或本地路径 dataset_path: "data/Qwen25_sft.json" # 数据集文件 output_dir: "output/qwen_finetuned" # 输出目录 quantization: bitsandbytes # 量化方法，减少GPU占用 batch_size: 8 # 批大小，根据GPU调整 learning_rate: 2e-5 # 学习率$ \alpha $ num_train_epochs: 3 # 训练轮次 ``` 运行命令后，日志会输出训练进度[^1]。 #### 方式二：WebUI界面（适合交互式操作） 引用[3]详细描述了WebUI步骤（以Qwen2.5-VL为例，但适用于所有Qwen2.5版本）： 1. **启动WebUI**： ```bash python webui.py # 在LLaMA-Factory根目录运行，默认在http://localhost:7860打开 ``` 浏览器访问该URL后，进入训练界面。 2. **配置训练参数**： - **步骤一：选择微调模式**：在“基础模型”输入框选择模型（如`Qwen/Qwen2.5-7B`）。 - **步骤二：选择模型**：在“训练参数”或“训练阶段”中选择`SFT`（Supervised Fine Tuning）。 - **步骤三：上传数据集**：在“数据集目录”选择存放JSON文件的目录（如`data/`），在“数据集文件名”选择文件（如`Qwen25_sft.json`）。 - **步骤四：设置其他参数**：调整`output_dir`（输出路径）、`batch_size`、`learning_rate`等（学习率通常设为$2 \times 10^{-5}$）。 - **步骤五：开始训练**：点击“开始训练”按钮，界面实时显示损失曲线（Loss Curve）和日志。 3. **监控训练**：WebUI提供实时指标，如损失函数值（例如交叉熵损失$ \mathcal{L} = -\sum y \log(\hat{y}) $），方便调试[^3]。 ### 5. 训练监控和模型导出 - **监控**：命令行训练会输出日志；WebUI可视化Loss曲线。训练完成后，检查输出目录（如`output/qwen_finetuned`）中的权重文件。 - **模型导出**：使用LLaMA-Factory工具导出为Hugging Face格式： ```bash llamafactory-cli export --output_dir output/qwen_finetuned --export_path finetuned_qwen ``` 导出后可直接用于推理或部署。 - **推理隔离**：引用[4]提醒，切换到推理环境避免冲突（如使用vLLM或SGLang工具）[^3][^4]。 ### 注意事项 - **硬件要求**：Qwen2.5-7B微调需至少一张24GB显存的GPU（如A100），使用LoRA或量化可降低需求。 - **版本兼容**：确保LLaMA-Factory和Qwen2.5库版本匹配（参考官方文档）。 - **常见问题**： - 数据集格式错误：验证JSON结构（可使用在线验证工具）。 - GPU OOM：减少`batch_size`或启用`bitsandbytes`量化。 - **最佳实践**：首次训练建议用小数据集测试（如100条样本），验证流程后再扩展。 以上步骤基于引用内容整理，覆盖了从环境到导出的全过程。如果您有具体模型版本（如Qwen2.5-7B或Qwen2.5-VL），可进一步定制配置。 ### 相关问题 1. 如何优化Qwen2.5微调的训练效率（例如使用LoRA或量化技术）？ 2. Qwen2.5微调后如何进行模型评估和测试？ 3. LLaMA-Factory支持哪些其他大模型（如LLaMA或Baichuan）的微调？ 4. 微调Qwen2.5-VL多模态模型时如何处理图像数据？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值