LM 格式强制器（LM Format Enforcer）：引导语言模型输出结构化数据

LM 格式强制器（LM Format Enforcer）：引导语言模型输出结构化数据

lm-format-enforcerEnforce the output format (JSON Schema, Regex etc) of a language model项目地址:https://gitcode.com/gh_mirrors/lm/lm-format-enforcer

1. 项目介绍

LM Format Enforcer 是一个库，旨在确保语言模型（LLM）的输出遵循指定的数据格式，如 JSON Schema 或正则表达式。该项目不仅仅提供建议性结构输出，而是能够“强制”LLM 输出符合预期的模式。它支持本地 LLM，目前兼容 LlamaCPP 和 HuggingfaceLLM 后端，并通过处理 LLM 的输出 logit 来工作，这使得它能够支持高级生成方法，如束搜索和批处理。

2. 项目快速启动

要开始使用 LM Format Enforcer，首先确保安装了必要的依赖项：

pip install lm-format-enforcer

然后，可以使用以下代码示例来演示如何限制 LLM 生成符合 JSON Schema 结构的文本：

from pydantic import BaseModel
from lmformatenforcer import JsonSchemaParser
from lmformatenforcer.integrations.transformers import *

class Album(BaseModel):
    title: str
    artist: str
    songs: list

schema = JsonSchemaParser.parse_schema(Album)

# 假设 `my_language_model` 是你的 LLM
output = my_language_model.generate(prompt, max_length, num_return_sequences, **schema)

在上面的例子中，prompt 应该是一个提示，max_length 和 num_return_sequences 是模型生成参数，而 **schema 将 JSON Schema 对象作为额外的输入传递给模型。

3. 应用案例和最佳实践

示例1：结构化音乐专辑数据生成

假设你想让 LLM 生成一个包含歌曲列表的音乐专辑描述，你可以定义一个 JSON Schema 并使用 LM Format Enforcer 强制其遵循这个结构：

{
  "$schema": "http://json-schema.org/draft-07/schema",
  "title": "Album",
  "type": "object",
  "properties": {
    "title": {"type": "string"},
    "artist": {"type": "string"},
    "songs": {
      "type": "array",
      "items": {
        "type": "object",
        "properties": {
          "title": {"type": "string"},
          "duration": {"type": "integer"}
        }
      }
    }
  },
  "required": ["title", "artist", "songs"]
}

然后，利用这个 schema 创建一个提示并生成结构化的专辑描述。

最佳实践

1. 在调用 LLM 之前，始终验证 JSON Schema 是否正确。
2. 使用启发式策略避免因 LLM 输出引起的边缘情况。
3. 考虑结合不同的提示工程技巧来提高生成文本的鲁棒性。

4. 典型生态项目

LM Format Enforcer 可以与以下项目集成：

• LlamaIndex: 提供了一个初始集成，简化了生成 Pydantic 对象的过程。
• vLLM Server: 包含 LM Format Enforcer 的推理服务器，允许无需编写自定义推断代码就能使用。
• Huggingface Transformers: 支持与 Huggingface Transformers 的无缝协作，方便处理各种 NLP 任务。

通过这些生态项目，开发者可以更轻松地将格式控制融入到现有的 NLP 工作流程中。

---

以上是 LM Format Enforcer 的简介及其基本用法。为了了解更多详细信息和高级功能，建议查阅项目官方文档和示例代码。

lm-format-enforcerEnforce the output format (JSON Schema, Regex etc) of a language model项目地址:https://gitcode.com/gh_mirrors/lm/lm-format-enforcer