Outlines：用于指令生成和格式化输出的大模型 LLM Python 库

最新推荐文章于 2024-08-22 08:23:00 发布

ctrl A_ctrl C_ctrl V

最新推荐文章于 2024-08-22 08:23:00 发布

阅读量443

点赞数 3

分类专栏： # 各种Python库/工具 # 大模型llm 文章标签： python 开发语言自然语言处理深度学习机器学习

本文链接：https://blog.csdn.net/qq_43799400/article/details/141070204

版权

各种Python库/工具同时被 2 个专栏收录

8 篇文章 5 订阅

订阅专栏

大模型llm

8 篇文章 0 订阅

订阅专栏

1. Outlines简介

Outlines 是一个帮助用户以简单和稳定方式使用 LLM 的 Python 库，能够基于regex（正则化表达式）、json、grammar 实现 structured generation。

官方文档：https://outlines-dev.github.io/outlines/welcome/

Outlines 库的特性：

让 LLM 生成有效的 JSON
用于 vLLM 部署 LLM 服务
使 LLM 遵循正则表达式约束的生成格式
提供强大的 Prompt Templating：通过 Prompt 模板更好地管理复杂的 Prompt

2. 使用正则表达式控制模式生成格式

使用 Outlines 使 LLM 遵循正则表达式约束的生成格式，demo：

from outlines import models, generate
from vllm import LLM, SamplingParams
import re

# 在知乎随便找的一段 text
text="特别想问，为什么国乒断代这么严重？答：女队还好，30以上陈梦一个，也才30，不结婚生孩子，也能再打两年，后面有孙颖莎，王曼昱，王艺迪，陈幸同，培养培养，后面还有钱天一，蒯蔓，06年的也有男队属于断了，现在就马龙，樊振东，王楚钦，梁靖崑，林高远。巴黎之后，还能指望龙队了吗？36了，就国乒这种不把人练死的强度，他再继续，我都怕他折寿，国外快乐乒乓，没这么高强度训练，马龙可以比肩波尔，老瓦，甚至倪老太太的岁数上赛场，但就国乒这强度，拉倒吧！林高远，巴黎之后30了，也不会再使劲培养了，下面没有打上来，他还是主力之一，梁靖崑，实力有，不稳啊，就问你敢把他带奥运单打吗？开局丢两局，丢三局，再追，谁敢啊？男队巴黎之后，稳的也就只有樊振东和王楚钦，论实力撑死再加一个梁靖崑，林高远。但是稳拿出手的也只有两个人，樊振东和王楚钦，第三个人没了！再看看后面小将，林诗栋？今年19，还不如18.19的王楚钦，王楚钦虽然中间没成绩，但是两头成绩好啊！向鹏？21了，要打出来，现在也该打出来了，结果还不如林诗栋综上所述，女队可以，男队堪忧，不能总指着马龙不知道怎么奥运会了，我这半年前的帖子还火了，各位看客也别在这冷嘲热讽的，实在不行，您站在赛场上，腿不软，您都是厉害的，能站在奥运会赛场上的在我看来都是好选手，您与其在这冷嘲热讽，不如过好你的生活，向一年赚几千万努力呢，都是中国人，对一个站在奥运赛场的人冷嘲热讽大可不必。"

# prompt template
system_prompt="给你一段对话文本，你需要根据文本分内容进行结构化总结。"
user_prompt_template=f"文本:{text}请总结文本内容。输出格式为：总结：xxx；支撑观点1：xxx；支撑观点2：xxx；要求支撑观点的数量不超过3个，每个支撑观点的字数不超过50字，输出总字数不超过200字。"
user_prompt = user_prompt_template.format(text)

# model
ckpt_path="models/qwen/Qwen2-7B-Instruct"
llm = LLM(model=ckpt_path, 
    tokenizer=ckpt_path,
    trust_remote_code=False,
    dtype="half",
    max_model_len=8192,
    tensor_parallel_size=4
)
tokenizer = llm.get_tokenizer()
sampling_params = SamplingParams(
        temperature=0.0, 
        max_tokens=1024, 
        repetition_penalty=1.00
)

# 使用 outlines.models 包装模型
llm = models.VLLM(llm)

# 使用 regex 控制模型的输出格式，与 user_prompt_template 对应
regex_str = r"(总结：(.*?)'\n'支撑观点1：(.*?)'\n'支撑观点2：(.*?)'\n'支撑观点\d+：(.*?))"
generator = generate.regex(llm, regex_str)

# prompt
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_prompt}
]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# output
output = generator(prompt, sampling_params=sampling_params)
print(output)

输出：

总结：分析了中国乒乓球国家队男女队的现状及问题；
支撑观点1：女队相对稳定，有陈梦、孙颖莎等年轻选手；
支撑观点2：男队面临断代危机，主力选手年龄偏大，年轻选手表现不稳定；
支撑观点3：强调了对运动员的尊重和理解，建议关注他们的努力和成就。
文本讨论了中国乒乓球国家队的现状，特别是男队的断代问题，指出女队相对稳定，而男队面临主力老化和年轻选手表现不稳定的问题。
作者强调了对运动员的尊重和理解，建议关注他们的努力和成就，而非冷嘲热讽。通过对比女队和男队的表现，文本突出了男队面临的挑战和问题。
作者在讨论中表达了对运动员的关心和支持，呼吁大家关注他们的努力和成就，而非进行负面评价。
...