LLM模型保存的常见格式汇总

已于 2025-02-23 19:31:47 修改
阅读量907 收藏 27
点赞数 30
分类专栏： 大模型 文章标签： 人工智能
于 2025-02-23 19:23:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32907491/article/details/145812134
版权

0. 概览

不同的框架支持不同的模型保存格式，以下是一些常见的格式：

1.TensorFlow格式

（1）SavedModel：TensorFlow 的一种模型保存格式，它不仅保存模型的权重，还包括计算图和签名定义，使得模型可以用于预测、导出或进一步训练。

在使用 TensorFlow Serving 时，会用到这种格式的模型。该格式为 GraphDef 和 CheckPoint 的结合体，另外还有标记模型输入和输出参数的 SignatureDef。从 SavedModel 中可以提取 GraphDef 和 CheckPoint 对象。

SavedModel 目录结构如下：

其中 saved_model.pb（或 saved_model.pbtxt）包含使用 MetaGraphDef protobuf 对象定义的计算图；assets 包含附加文件；variables 目录包含 tf.train.Saver() 对象调用 save() API 生成的文件。

以下代码实现了保存 SavedModel：

载入 SavedModel：

更多细节可以参考 tensorflow/python/saved_model/README.md。

（2）Checkpoint：TensorFlow 的检查点格式，主要用于保存和恢复模型的权重和优化器状态，便于训练过程中的中断和继续。

在训练 TensorFlow 模型时，每迭代若干轮需要保存一次权值到磁盘，称为“checkpoint”，如下图所示：

这种格式文件是由 tf.train.Saver() 对象调用 saver.save() 生成的，只包含若干 Variables 对象序列化后的数据，不包含图结构，所以只给 checkpoint 模型不提供代码是无法重新构建计算图的。

载入 checkpoint 时，调用 saver.restore(session, checkpoint_path)。

（3）GraphDef(*.pb)

TensorFlow PB模型是指使用TensorFlow框架训练得到的模型，并以.pb文件格式保存。这种模型文件包含了模型的结构定义、权重参数以及其他必要的信息，可以在不需要源代码的情况下进行推断和部署。由于.pb模型文件具有轻量级和高效性的特点，因此在实际应用中得到了广泛的应用。

这种格式文件包含 protobuf 对象序列化后的数据，包含了计算图，可以从中得到所有运算符（operators）的细节，也包含张量（tensors）和 Variables 定义，但不包含 Variable 的值，因此只能从中恢复计算图，但一些训练的权值仍需要从 checkpoint 中恢复。下面代码实现了利用 *.pb 文件构建计算图：

TensorFlow 一些例程中用到 *.pb 文件作为预训练模型，这和上面 GraphDef 格式稍有不同，属于冻结（Frozen）后的 GraphDef 文件，简称 FrozenGraphDef 格式。这种文件格式不包含 Variables 节点。将 GraphDef 中所有 Variable 节点转换为常量（其值从 checkpoint 获取），就变为 FrozenGraphDef 格式。代码可以参考 tensorflow/python/tools/freeze_graph.py

*.pb 为二进制文件，实际上 protobuf 也支持文本格式（*.pbtxt），但包含权值时文本格式会占用大量磁盘空间，一般不用。

2. PyTorch 格式

（1）.pth 或 .pt：PyTorch 的标准模型保存格式，用于保存模型的权重和结构。
（2）.bin：另一种用于保存模型权重的二进制格式，通常与模型结构定义一起使用。
（3）.jit：PyTorch 的 TorchScript 格式，用于保存经过优化的模型，可以用于不依赖Python环境的部署。

3. ONNX (Open Neural Network Exchange)

（1）.onnx：一种开放的格式，用于表示深度学习模型，允许模型在不同的深度学习框架之间进行转换和部署。

4. Hugging Face Transformers

（1）.bin 和 .index：Hugging Face 提供的模型通常以 .bin 和 .index 文件形式保存，这些文件包含了模型的权重和配置信息。
（2）.safetensors：Hugging Face 也支持 .safetensors 格式，这是一种更安全的模型保存格式，避免了潜在的恶意代码执行。

5. Other Formats

（1）JSON/YAML：有时模型的配置信息会以文本格式保存，如JSON或YAML文件，便于阅读和编辑。
（2）Protocol Buffers：Google 的一种数据序列化格式，有时用于保存模型元数据或配置。

6 .safetensors 格式

.safetensors 格式确保安全性的主要方式是通过限制文件内容，防止执行潜在的恶意代码。以下是 .safetensors 如何实现这一点的几个关键方面：

  1. 仅存储权重数据
    .safetensors 文件格式专门设计用来存储模型的权重数据，而不包含任何可执行代码。这意味着文件中不包含用于加载或操作模型的代码，从而降低了执行恶意代码的风险。

  2. 禁止元数据执行
    在一些其他格式中，如 .pt (PyTorch) 或 .h5 (HDF5)，模型文件可能包含可执行的元数据或脚本。.safetensors 格式明确禁止这种做法，确保文件中不包含任何可执行的元数据。

  3. 明确的文件结构
    .safetensors 文件具有明确的结构，其中权重数据以键值对的形式存储。这种结构易于解析，但不支持执行任何代码。

  4. 开源和透明性
    .safetensors 是开源的，这意味着任何人都可以审查其代码和文件格式，确保没有隐藏的漏洞或后门。

  5. 不支持自定义扩展
    与一些其他格式不同，.safetensors 不支持自定义扩展或添加额外的、可能不安全的组件。

  6. 限制文件操作
    .safetensors 格式的设计避免了复杂的文件操作，如动态加载库或执行外部命令，这些操作在其他格式中可能被利用来执行恶意代码。

  7. 易于验证和检查
    由于 .safetensors 文件的结构简单明了，用户可以轻松地使用文本编辑器或专用工具检查文件内容，确保没有不期望的数据。

7.gguf - 高效本地推理格式

核心特性

  • 开发方：由 llama.cpp 项目引入，专为高效推理设计
  • 设计目标：优化本地推理性能
  • 特色功能：支持多种量化方案（如 4-bit、8-bit）
  • 优势：
    • 高效推理：专为 CPU 和 GPU 混合推理设计。
    • 内容：单个文件包含模型的所有权重和配置信息。
    • 跨平台：适合在资源受限设备（如 Apple Silicon）上运行。

适用场景

  • 边缘设备部署
  • 资源受限环境
  • 需要量化优化的场景

Ollama使用的就是这种数据格式

为什么GGUF格式对大模型文件性能很好

GGUF文件格式能够更快载入模型的原因主要归结于以下几个关键特性：

  1. 二进制格式：GGUF作为一种二进制格式，相较于文本格式的文件，可以更快地被读取和解析。二进制文件通常更紧凑，减少了读取和解析时所需的I/O操作和处理时间。

  2. 优化的数据结构：GGUF可能采用了特别优化的数据结构，这些结构为快速访问和加载模型数据提供了支持。例如，数据可能按照内存加载的需要进行组织，以减少加载时的处理。

  3. 内存映射（mmap）兼容性：GGUF支持内存映射（mmap），这允许直接从磁盘映射数据到内存地址空间，从而加快了数据的加载速度。这样，数据可以在不实际加载整个文件的情况下被访问，特别是对于大模型非常有效。

  4. 高效的序列化和反序列化：GGUF使用高效的序列化和反序列化方法，这意味着模型数据可以快速转换为可用的格式。

  5. 少量的依赖和外部引用：如果GGUF格式设计为自包含，即所有需要的信息都存储在单个文件中，这将减少解析和加载模型时所需的外部文件查找和读取操作。

  6. 数据压缩：GGUF格式采用了有效的数据压缩技术，减少了文件大小，从而加速了读取过程。

  7. 优化的索引和访问机制：文件中数据的索引和访问机制经过优化，使得查找和加载所需的特定数据片段更加迅速。

总之，GGUF通过各种优化手段实现了快速的模型加载，这对于需要频繁载入不同模型的场景尤为重要。

GGUF文件结构

一个GGUF文件包括文件头、元数据键值对和张量信息等。这些组成部分共同定义了模型的结构和行为。具体如下所示：

同时，GGUF支持多种数据类型，如整数、浮点数和字符串等。这些数据类型用于定义模型的不同方面，如结构、大小和参数。

GGUF文件具体的组成信息如下所示：

文件头 (Header)

  • 作用：包含用于识别文件类型和版本的基本信息。

  • 内容：

  • Magic Number：一个特定的数字或字符序列，用于标识文件格式。

  • Version：文件格式的版本号，指明了文件遵循的具体规范或标准。

元数据key-value对 (Metadata Key-Value Pairs)

  • 作用：存储关于模型的额外信息，如作者、训练信息、模型描述等。

  • 内容：

  • Key：一个字符串，标识元数据的名称。

  • Value Type：数据类型，指明值的格式（如整数、浮点数、字符串等）。

  • Value：具体的元数据内容。

张量计数器 (Tensor Count)

  • 作用：标识文件中包含的张量（Tensor）数量。

  • 内容：

  • Count：一个整数，表示文件中张量的总数。

张量信息 (Tensor Info)

  • 作用：描述每个张量的具体信息，包括形状、类型和数据位置。

  • 内容：

  • Name：张量的名称。

  • Dimensions：张量的维度信息。

  • Type：张量数据的类型（如：浮点数、整数等）。

  • Offset：指明张量数据在文件中的位置。

对齐填充 (Alignment Padding)

  • 作用：确保数据块在内存中正确对齐，有助于提高访问效率。

  • 内容：

  • 通常是一些填充字节，用于保证后续数据的内存对齐。

张量数据 (Tensor Data)

  • 作用：存储模型的实际权重和参数。

  • 内容：

  • Binary Data：模型的权重和参数的二进制表示。

端序标识 (Endianness)

  • 作用：指示文件中数值数据的字节顺序（大端或小端）。

  • 内容：

  • 通常是一个标记，表明文件遵循的端序。

​​​​​​​扩展信息 (Extension Information)

  • 作用：允许文件格式未来扩展，以包含新的数据类型或结构。

  • 内容：

  • 可以是新加入的任何额外信息，为将来的格式升级预留空间。

在张量信息部分，GGUF定义了模型的量化级别。量化级别取决于模型根据质量和准确性定义的值（ggml_type）。在 GGUF 规范中，值列表如下：

类型来源描述
F64Wikipedia64 位标准 IEEE 754 双精度浮点数。
I64GH64 位整数。
F32Wikipedia32 位标准 IEEE 754 单精度浮点数。
I32GH32 位整数。
F16Wikipedia16 位标准 IEEE 754 半精度浮点数。
BF16Wikipedia32 位 IEEE 754 单精度浮点数的 16 位缩短版本。
I16GH16 位整数。
Q8_0GH8 位 RTN 量化 (q). 每个块有 32 个权重。权重公式： w = q * block_scale. 传统的量化方法（目前尚未广泛使用）。
Q8_1GH8 位 RTN 量化 (q). 每个块有 32 个权重。权重公式： w = q * block_scale + block_minimum. 传统的量化方法（目前尚未广泛使用）。
Q8_KGH8 位量化(q). 每个块有 256 个权重。仅用于量化中间结果。所有 2-6 位点积都是为此量化类型实现的。权重公式： w = q * block_scale.
I8GH8 位整数。
Q6_KGH6 位量化 (q). 超级块有 16 个块，每个块有 16 个权重。权重公式： w = q * block_scale(8-bit)，得出每个权重 6.5625 位。
Q5_0GH5 位 RTN 量化 (q). 每个块有 32 个权重。权重公式： w = q * block_scale. 传统的量化方法（目前尚未广泛使用）。
Q5_1GH5 位 RTN 量化 (q). 每个块有 32 个权重。权重公式： w = q * block_scale + block_minimum. 传统的量化方法（目前尚未广泛使用）。
Q5_KGH5 位量化 (q). 超级块有8个块，每个块有32个权重。权重公式： w = q * block_scale(6-bit) + block_min(6-bit)，得出每个权重 5.5 位。
Q4_0GH4 位 RTN 量化 (q). 每个块有 32 个权重。权重公式： w = q * block_scale. 传统的量化方法（目前尚未广泛使用）。
Q4_1GH4 位 RTN 量化 (q). 每个块有 32 个权重。权重公式：w = q * block_scale + block_minimum. 传统的量化方法（目前尚未广泛使用）。
Q4_KGH4 位量化 (q). 超级块有8个块，每个块有32个权重。权重公式： w = q * block_scale(6-bit) + block_min(6-bit) ，得出每个权重 4.5 位。
Q3_KGH3 位量化 (q). 超级块有 16 个块，每个块有 16 个权重。权重公式： w = q * block_scale(6-bit), 得出每个权重3.4375 位。
Q2_KGH2 位量化 (q). 超级块有 16 个块，每个块有 16 个权重。权重公式： w = q * block_scale(4-bit) + block_min(4-bit)，得出每个权重 2.5625 位。
IQ4_NLGH4 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的。
IQ4_XSHF4 位量化 (q). 超级块有 256 个权重的。具有 256 个权重的超级块。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 4.25 位。
IQ3_SHF3 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 3.44 位。
IQ3_XXSHF3 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 3.06 位。
IQ2_XXSHF2 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 2.06 位。
IQ2_SHF2 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 2.5 位。
IQ2_XSHF2 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 2.31 位。
IQ1_SHF1 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 1.56 位。
IQ1_MGH1 位量化 (q). 超级块有 256 个权重的。权重w是使用super_block_scale和importance matrix获得的，结果是每个权重 1.75 位。

[算法前沿]--002-ChatGPT对安全的影响和开源的LLM大模型资源汇总
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
04-15 3952
从攻防的角度看，是通过防御和反制攻击来保护数据的安全性，其价值在于保护组织的敏感信息和知识产权，减少业务中断和损失，并维护组织的声誉。Chat GPT是生成式人工智能的开山之作，出道即巅峰，是继PC互联网、移动互联网之后又一次革命性创新，其创新性在于突破之前决策式AI基于规则的算法模型框架，跳出之前“数据搬运工”的传统模式，即在海量数据中寻找符合规则策略的数据，经过比对计算，基于当前的环境、条件和状态，准确的找到符合条件的数据，一步一步的走向算法和程序的终点，得出一个确定的决策。
LLM - 使用 TRL 库 微调(Fine-Tuning) Llama3 以及合并微调模型 教程
AGI
08-15 1539
TRL(Transformer Reinforcement Learning) 是 HuggingFace 的全栈库，提供一套工具，用于通过强化学习训练 Transformer 语言模型，从 监督微调(Supervised Fine-tuning, SFT)、奖励建模(Reward Modeling, RM)、近端策略优化(Proximal Policy Optimization, PPO)。
将LLM模型导出为ONNX格式：高效部署与优化的新选择
gitblog_00598的博客
09-14 684
将LLM模型导出为ONNX格式：高效部署与优化的新选择 项目地址:https://gitcode.com/gh_mirrors/ex/export_llama_to_onnx 项目介绍 在现代机器学习领域，大型语言模型（LLM）如Llama、Alpaca、Qwen等已经成为研究和应用的热点。然而，这些模型的部署和优化往往面临诸多挑战。为了简化这一过程，我们推出了一个开源项目——export lla...
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署_meta-llama-3-8b-instruct-gguf-imatrix-request
月流霜的专栏
07-31 705
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
qq_56591814的博客
06-18 1万+
本文介绍了一些LLMs基础模型和微调模型，例如GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca
Ollama 本地运行大模型(LLM)完全指南
LuckyTHP
07-29 1万+
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。Ollama 的特点：• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。• 多操作系统支持：无论是 Mac、Linux 还是 Window，都能很方便安装使用。• 多模型支持：Ollama 支持多种流行的LLM模型，如Llama、Falcon等，用户可以根据自己的需求选择不同的模型，一键运行。
从零构建 AI Agent：LLM 大模型应用开发实践
AI天才研究院
12-03 1056
AI Agent（人工智能代理）是一个能够感知环境、做出决策并采取行动以实现特定目标的智能系统。它是人工智能研究和应用的核心概念之一，代表了我们在创造能够自主运作的智能实体方面的努力。感知器（Sensors）：用于感知环境状态的组件。执行器（Actuators）：用于在环境中执行动作的组件。决策单元（Decision-making unit）：根据感知到的信息做出决策的核心组件。数学上，我们可以将 AI Agent 表示为一个函数ffffP→AfP→A其中PPP。
当下大语言模型（LLM）应用的架构介绍
m0_64752471的博客
10-22 807
离线评估是在模型与人类互动之前，评定模型是否达到了一定性能标准的测试。这些测试通过向模型提出问题（有正确或错误的答案，而这些答案是人类所知道的）来衡量模型输出的延迟、准确性和上下文相关性。此外，还有一部分测试用于处理含糊不清的答案，称为增量评分。这种类型的离线评估允许你将模型输出评为部分正确（例如，80% 正确），而不是简单地判定为对或错。**定制大语言模型。**训练大语言模型意味着构建支架和神经网络来实现深度学习。
务必收藏！大模型常见面试题汇总与详解
2401_86518761的博客
09-09 1581
RAG 技术体系的总体思路使用外挂知识库主要为了解决什么问题如何评价 RAG 项目效果的好坏大模型的幻觉问题、复读机问题是什么针对问题 4，有没有什么解决办法出现问题 4 的原因有哪些当前主流的开源大模型是哪个，其架构具体是怎样的？有哪几种 SFT 方法什么是 lora 微调RAG 的检索阶段，常见的向量检索模型有哪些？SFT 和 RLHF 优劣对比详细介绍一下 RLHFsita，存储为 12。
控制 LLM 的输出格式和解析其输出结果
m0_70886513的博客
12-12 904
控制LLM的输出格式和解析其输出结果是自然语言处理领域的重要问题，涉及多种技术和工具。通过合理的输入控制、输出后处理以及解析方法，可以对LLM的输出进行有效地控制和解析，从而满足不同应用场景的需求。未来，随着自然语言处理技术的不断发展，相信对LLM输出控制和解析的研究也将得到进一步的深化和完善。本文将介绍如何控制LLM的输出格式和解析其输出结果，以及相关的技术和工具。这包括向LLM提供特定的输入格式，比如加入特殊标记、指定特定的任务等，以引导LLM生成特定格式的输出。等，它们在各自的领域取得了显著的成就。
LLM学习：本地下载并运行大语言模型，准备入门的同学一定要来看看
m0_59164304的博客
04-18 1927
在LLM与ChatGPT流行的当下，商业人工智能（AI）和大型语言模型（LLMs）仍然存在一个较大的隐患：即数据的隐私问题。在处理敏感或专有数据时，我们很难通过公开的ChatGPT或者大模型UI这些工具中受益。因此，在本地进行模型训练，快速实验与学习，也成为越来越常见的需求。本篇总结了现在主流的本地运行LLM的方法，主要介绍如何通过以下6种方式在本地私有的机器中操作LLMs。
LLM的部署与文件架构
weixin_62628808的博客
05-30 1293
部署大语言模型（LLM）可以分为几个关键步骤，包括环境准备、模型加载和优化、API接口设置、安全和高可用性保障、以及持续监控和管理。
大语言模型---Llama模型文件介绍；文件组成
weixin_43883448的博客
11-21 1007
在使用 LLaMA（Large Language Model Meta AI）权重时，通常会涉及到与模型权重存储和加载相关的文件。这些文件通常是以二进制格式存储的，具有特定的结构来支持高效的模型操作。模型权重文件包含了用于神经网络层的参数矩阵（例如权重矩阵和偏置向量）。这些参数是训练时优化得到的。文件格式通常是 .bin 或 .pt，
LLM - Transformer && LLaMA2 结构分析与 LoRA 详解
BITDDD小栈
08-08 2万+
Transformer、LLaMA-2 以及 LoRA的一些基础知识。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
LLM（大语言模型）——大模型简介
热门推荐
telescopewang的博客
02-04 3万+
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括API集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
大模型中 .safetensors 文件、.ckpt文件、.gguf和.pth以及.bin文件区别、加载和保存以及转换方式
m0_63251896的博客
04-01 1万+
大模型中 .safetensors 文件、.ckpt文件、.gguf和.pth以及.bin文件区别、加载和保存以及转换方式 在大模型中，.safetensors、.ckpt、.gguf、.pth和.bin文件都是用于保存和加载模型参数的文件格式，它们之间的区别和转换方式如下： .safetensors文件： 这是 TensorFlow 2.x 中新增的文件格式，用于保存模型参数和优化器状态。 它采用的是 TensorFlow 的自定义序列化格式，不能直接用于其他框架。 可以使用 TensorFl
invalid token
最新发布
03-21
以下是针对几种常见情况的具体解决方案： #### Android XML 文件解析错误 在 Android 中读取 XML 文件时可能出现 `not well-formed (invalid token)` 的错误[^1]。这通常是由于 XML 文件本身不符合标准格式引起的。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值