【大模型LLM第三篇】Prompt模版管理之jijia2以及Go Text Template-CSDN博客

本文链接：https://blog.csdn.net/Gaga246/article/details/141474423

Prompt编排

如果将一个LLM应用做成服务，则需要对prompt进行管理。

一般来说我们写小demo，可能直接用string.format格式，但这种相对来说不是很规范且标准化。

对于Python我们可以使用 jijia2 模版来管理Prompt 对于Go我们可以使用Go text template进行管理

jijia2

文档：https://docs.jinkan.org/docs/jinja2/templates.html

基本上所有的需求都支持。

写了个小demo

prompts.toml

[SystemPrompt]
_type = "prompt"
task_1 = """
Are you Ok?

{% if mode %}
- a
{% else %}
- b
{% endif %}
"""
task_2 = """
hello!

{%- if mode %}
- c
{% else %}
- d
{% endif %}
"""

[UserInput]
_type = "prompt"
task_1 = """
{% if che %}
che message:
=====
{{ che }}
=====
{% endif %}
"""

task_2 = """
{% if che %}
che message:
=====
{{ che }}
=====
{% endif %}
"""

demo.py

import json
import os
import pandas as pd
import toml

from jinja2 import Environment, StrictUndefined


def load_prompt():
    folder = 'jijia2_demo'
    path = os.path.join(os.path.dirname(os.path.dirname(__file__)), folder, 'prompts.toml')

    with open(path, 'r') as file:
        content = toml.load(file)

    return content


class PromptGenerator:
    def __init__(self, prompt, task_type):
        self.prompt = prompt
        self.task_type = task_type

    def get_system_prompt(self):
        system_prompt = self.prompt['SystemPrompt'][self.task_type]
        return system_prompt

    def get_user_prompt(self):
        user_prompt = self.prompt['UserInput'][self.task_type]
        return user_prompt

    def generate(self, df: pd.DataFrame):
        for index in range(len(df)):
            variables = json.loads(df["context"][index])

            environment = Environment(undefined=StrictUndefined)
            user_prompt = self.get_user_prompt()
            base_prompt = self.get_system_prompt()

            system_prompt = environment.from_string(base_prompt).render(variables)
            user_prompt = environment.from_string(user_prompt).render(variables)

            final_prompt = [
                {
                    "role": "system",
                    "content": system_prompt
                },
                {
                    "role": "user",
                    "content": user_prompt
                }
            ]
            final_prompt_str = "".join(['system:\n', system_prompt, 'user:\n', user_prompt])
            print(final_prompt_str)
            
        return final_prompt


if __name__ == "__main__":
    pg = PromptGenerator(load_prompt(), task_type="task_1")
    data = pd.DataFrame({
        "context": [json.dumps({
            "mode": True,
            "che": "woniu"
        })]
    })
    pg.generate(data)

Go Text template

文档：https://pkg.go.dev/text/template
Go的一些指导：https://zhuanlan.zhihu.com/p/557845796

直接看代码也很简单

package main

import (
 "bytes"
 "fmt"
 "text/template"
)

func main() {

 prompt_str := `
 {{ if .single_commit }}
 hahaha
 heelo {{.v}}
 {{- else }}
 {{.v}}
 {{- end }}
`

 tmpl, _ := template.New("base_prompt").Parse(prompt_str)

 buf := new(bytes.Buffer)

 data := make(map[string]interface{})
 data["single_commit"] = true
 data["v"] = "woniu"
 err := tmpl.Execute(buf, data)
 if err != nil {
  panic(err)
 }
 fmt.Println(buf)
}