增强生成效果：通过多轮对话、信息检测反馈优化语言模型输出

weixin_40941102

已于 2024-08-28 18:57:17 修改

阅读量866

点赞数 29

文章标签：语言模型人工智能自然语言处理

于 2024-08-22 14:17:58 首次发布

本文链接：https://blog.csdn.net/weixin_40941102/article/details/141427083

版权

标题：增强生成效果：通过多轮对话优化语言模型输出

在自然语言处理领域，特别是在使用大型语言模型（LLMs）生成文本时，我们经常会遇到这样一个问题：模型的输出并不总是完全符合预期。尤其是在需要生成复杂结构化数据（如JSON）或多层次信息时，单轮对话可能无法满足需求。这时，利用多轮对话来强化模型的输出可以成为一个有效的策略。

为什么单轮对话可能无法满足需求？

大型语言模型在生成内容时，通常会根据输入的提示生成相应的输出。然而，以下情况可能导致单轮对话输出不尽如人意：

复杂任务：生成包含多层次逻辑或结构的文本（例如代码片段、嵌套的JSON结构等）时，模型在单次生成中可能会忽略某些细节或产生不准确的内容。
上下文理解不足：在只有一次输入的情况下，模型可能无法全面理解上下文或生成符合整体语境的输出。
生成错误的可能性：即使模型生成的内容大体正确，也可能存在格式错误、细节遗漏或逻辑不一致的问题。

多轮对话如何强化输出？

多轮对话的核心思路是通过持续的交互，为模型提供更多的上下文信息、引导模型修正错误，从而最终达到期望的生成效果。以下是多轮对话优化模型输出的几个步骤：

逐步引导模型：
- 在第一轮对话中，给出一个相对简单的提示，观察模型的初步输出。
- 如果输出不符合预期，可以在下一轮对话中提供更多的上下文或更加明确的指示，要求模型修正或补充之前的内容。
处理复杂的结构化输出：
- 例如，当需要生成JSON格式的数据时，如果模型在第一轮对话中输出了格式错误的JSON，可以在下一轮中明确要求它修正格式并确保输出可以被解析。
- 可以提示模型：“请确保输出内容是有效的JSON格式，能够被Python的json.loads函数解析。”
递归修正和优化：
- 如果在多轮对话后模型仍未能生成符合预期的输出，可以采取递归生成的策略：在每一轮对话中不断调整提示，直到输出满足要求为止。
- 通过多次尝试，模型会在连续的上下文中逐步优化其输出，直到达到目标。

实际应用案例：优化生成JSON结构

假设我们需要生成一个有效的JSON格式数据，并且模型在单轮对话中的输出总是存在格式问题。那么，我们可以通过以下方法进行多轮对话优化：

第一轮提示：输入最基本的需求，例如“生成一个包含用户信息的JSON对象”。
第二轮提示：如果模型生成的JSON对象存在格式问题，可以反馈：“你生成的JSON格式不正确，请修正为有效的JSON。”

import json
from pprint import pprint
from tqdm import tqdm
import pandas as pd
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

# Initialize the tokenizer
tokenizer = AutoTokenizer.from_pretrained("/home/ca2/models/Qwen2-7B-Instruct")

# Set the sampling parameters for the model
sampling_params = SamplingParams(
    temperature=0.7, 
    top_p=0.8, 
    repetition_penalty=1.05, 
    max_tokens=512
)

# Initialize the model with GPU memory utilization limit
llm = LLM(
    model="/home/ca2/models/Qwen2-7B-Instruct", 
    gpu_memory_utilization=0.5  # Limit GPU memory usage to 50%
)

# Load the prompt list and word pair mapping
prompt_list = open("cls.16384.glm-4-0520.prompt.only.json", "r").read()[2:].split("}, {")
word_pait_mapping = json.load(open("word_pait_mapping.json", "r"))

# Function to recursively generate valid JSON output
def generate_valid_json(messages):
    # Convert the messages into the format required by the tokenizer
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    outputs = llm.generate([text], sampling_params)
    
    # Check if the generated output is valid JSON
    for output in outputs:
        generated_text = output.outputs[0].text.strip()  # Remove leading/trailing whitespace
        try:
            # Attempt to parse the generated text as JSON
            json_data = json.loads(generated_text)
            return json_data, generated_text  # Return the valid JSON object and text
        except json.JSONDecodeError:
            # If invalid JSON, regenerate with an additional prompt
            print("Invalid JSON generated, regenerating...")
            retry_messages = messages + [
                {"role": "system", "content": generated_text},{"role": "user", "content": "请确保输出的内容是有效的、可以被Python json.loads解析的JSON格式。"}
            ]
            return generate_valid_json(retry_messages)

# Process prompts and generate outputs
a = []
for prompt_one in tqdm(prompt_list[:10000]):
    try:
        # Parse JSON string into a dictionary
        prompt_data = json.loads("{" + prompt_one + "}")
    except json.JSONDecodeError:
        print(f"Error parsing JSON: {prompt_one}")
        continue

    # Prepare translation from word pair mapping
    translate_word = ""
    for word_pait_key in prompt_data['CONVERT_ITEM_E_TO_CHAR(T.PRSSD'].split():
        if word_pait_key in word_pait_mapping:
            translate_word += word_pait_key + "的航空领域含义为：" + word_pait_mapping[word_pait_key] + "\n"

    # Prepare messages for the model
    messages = [
        {"role": "system", "content": "民航签派员，请按照杰普逊手册简缩字提示翻译航行通告。优化指令 注意输出内容为json结构"},
        {"role": "system", "content": translate_word},
        {"role": "system", "content": "正确输出：{\"translate\":\"RWY29进近灯光系统故障，不可用的百分比为50%。\"} 错误输出： \"50 PER CENT RWY29 APCH LIGHTING SYSTEM U/S\" 的中文翻译是 \"RWY29进近灯光系统故障，不可用的百分比为50%。\" 这表示RWY29跑道的进近灯光系统部分失效，只有50%的功能可用，剩余的50%可能不可用或工作状态不明。在飞行操作中，这可能会影响飞行员在低能见度条件下的着陆能力。"},
        {"role": "system",
         "content": "输入 SOUTHEND CTA,CTR ATZ DEACTIVATED. AD CLOSED. NO ATS AVBL 输出：{\"translate\":\"SOUTHEND机场的受管制终端区和受管制空中交通路线内的控制塔已经关闭，无法提供空中交通服务。\"} "},
        {"role": "user", "content": prompt_data['CONVERT_ITEM_E_TO_CHAR(T.PRSSD']}
    ]
    prompt_data['message'] = messages

    # Generate valid JSON output with all previous messages included
    json_data, generated_text = generate_valid_json(messages)
    prompt_data["generated_text"] = generated_text
    prompt_data["parsed_json"] = json_data  # Store the parsed JSON data
    
    pprint(prompt_data)
    a.append(prompt_data)

# Save the data to an Excel file
pd.DataFrame(a).to_excel("cls.杰普逊手册简缩字.10000.qwen-2-7B.vllm.translate.xlsx")

后续轮次：如果依然不符合要求，可以逐步增加约束条件，例如“确保所有的键名都是字符串类型”、“请确保没有多余的逗号”等。

通过这种方式，我们可以逐步逼近理想的生成结果。

多轮对话的优势

提高生成准确性：通过逐步修正和引导，模型能够生成更加准确、符合预期的输出。
增强模型理解：多轮对话帮助模型更好地理解任务的复杂性，增强对上下文的把握。
灵活应对复杂任务：对于需要高精度和复杂结构的任务，多轮对话提供了更加灵活和细致的生成方式。

总结

在与大型语言模型的交互中，如果单轮对话无法满足需求，多轮对话是一个有效的策略。通过递进式的引导和修正，可以逐步强化模型的输出，使其更好地满足实际应用的要求。这种方法尤其适用于生成复杂结构化数据或在需要高精度输出的场景下，帮助我们从模型中获取更为准确和可靠的内容。

在实际应用中，我们不妨尝试这种多轮对话的方式，与模型展开更加深入的交流，以获得理想的生成结果。
参考资料
https://github.com/guidance-ai/guidance
https://github.com/jxnl/instructor
https://github.com/outlines-dev/outlines
https://github.com/eth-sri/lmql

深入RAG：从基础到高级应用的系统性学习

在当前人工智能领域，检索增强生成（RAG，Retrieval-Augmented Generation）正在迅速成为提高生成式AI性能的重要技术。RAG结合了信息检索和生成模型的优势，使得AI在生成内容时不仅依赖训练数据，还能从外部数据库或搜索引擎实时获取相关信息，从而生成更加准确、上下文相关的内容。

为了让更多人掌握RAG的核心技术，我不仅总结了自己的实战经验，还特别邀请到了一位谷歌认证的开发者，参与到我们的课程中，为大家分享他在RAG领域的深厚知识和丰富实战经验。