logits-processor-zoo：轻松控制LLM输出，实现任务导向生成

logits-processor-zoo：轻松控制LLM输出，实现任务导向生成

logits-processor-zoo A collection of LogitsProcessors to customize and enhance LLM behavior for specific tasks. 项目地址: https://gitcode.com/gh_mirrors/lo/logits-processor-zoo

项目介绍

logits-processor-zoo 是一个开源项目，旨在帮助开发者更好地控制和调整大型语言模型（LLM）的输出结果，使其更符合特定的任务要求。该项目包含了一系列工具，使得LLM在执行特定任务时，不仅仅局限于语法校验，而是能够生成更加精准、符合用户需求的文本。

项目技术分析

logits-processor-zoo 基于多个深度学习框架，包括 transformers、vLLM 以及 TensorRT-LLM。这些框架为项目提供了强大的基础支持，使得项目能够兼容多种LLM模型，并对其进行定制化的处理。

项目通过调整模型生成的logits来影响输出，引入了多种LogitsProcessor，这些处理器可以修改LLM的生成行为。例如，GenLengthLogitsProcessor可以基于生成的序列长度调整结束符的概率，CiteFromPromptLogitsProcessor则可以增加或减少与提示符中出现的token的概率，以引导模型生成更接近提示符的文本。

项目及技术应用场景

应用场景

• 生成指定长度的文本：使用GenLengthLogitsProcessor，可以根据需求生成更短或更长的文本。
• 引用提示符内容：通过CiteFromPromptLogitsProcessor，模型可以更倾向于生成与提示符相似的内容。
• 固定结束短语：ForceLastPhraseLogitsProcessor允许在文本末尾添加特定的短语，如引用或致谢。
• 回答多选问题：MultipleChoiceLogitsProcessor可以帮助模型生成特定选项作为答案。
• 触发特定短语：TriggerPhraseLogitsProcessor可以在模型遇到特定token时触发特定短语，如编写代码。

技术应用

logits-processor-zoo 可以广泛应用于多种场景，包括但不限于：

• 自动问答系统
• 文本摘要生成
• 代码辅助编写
• 对话系统

项目特点

1. 兼容性：项目支持多种主流深度学习框架，提供了广泛的模型兼容性。
2. 灵活性：通过自定义LogitsProcessor，开发者可以根据具体需求灵活调整LLM的输出。
3. 高效性：logits-processor-zoo 的设计确保了在生成文本时的高效性，有助于提升模型在特定任务上的性能。
4. 易于使用：项目提供了简洁的API和详细的示例，使得开发者能够快速上手并应用于实际项目。

安装

pip install logits-processor-zoo

使用示例

import vllm
from logits_processor_zoo.vllm import GenLengthLogitsProcessor, CiteFromPromptLogitsProcessor, ForceLastPhraseLogitsProcessor

# 初始化模型和分词器
model = vllm.LLM(model_name, trust_remote_code=True, dtype="half", enforce_eager=True)
tokenizer = model.get_tokenizer()

# 定义logits处理器
logits_processors = [
    CiteFromPromptLogitsProcessor(tokenizer, boost_factor=2.0),
    GenLengthLogitsProcessor(tokenizer, boost_factor=-0.2, p=1),
    ForceLastPhraseLogitsProcessor("\n\nReferences:\n", tokenizer)
]

# 生成文本
gen_output = model.generate(
    prompts,
    vllm.SamplingParams(
        n=1,
        temperature=0,
        seed=0,
        skip_special_tokens=True,
        max_tokens=64,
        logits_processors=logits_processors
    ),
    use_tqdm=False
)

通过logits-processor-zoo，开发者可以更轻松地实现LLM在特定任务上的精确控制，提升模型的实际应用效果。如果您正在寻找一种更有效的LLM输出调整工具，logits-processor-zoo 将是您的理想选择。

logits-processor-zoo A collection of LogitsProcessors to customize and enhance LLM behavior for specific tasks. 项目地址: https://gitcode.com/gh_mirrors/lo/logits-processor-zoo