【LLM大模型】Spring AI 提示词模版源码分析及简单的使用

最新推荐文章于 2024-07-25 18:39:37 发布
最新推荐文章于 2024-07-25 18:39:37 发布
阅读量726 收藏 29
点赞数 21
文章标签： 人工智能 spring prompt ai大模型 RAG 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/140200605
版权

本篇文章主要对Spring AI 提示词的实现源码进行剖析，并提供使用案例。对于如何写好提示词，提示的技术框架等，后续会出专题进行详尽的讨论。

提示词重要性

众所周知，ChatGPT 使用得好不好，和你的提问有很大的关系，这个提问又叫提示词、指令或者是prompt。

研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。

但是虽然提示词很重要，但是在某些场景下，我们不得不承认，提示词是无法解决问题，后面会有文章说明。 比如一个场景：大模型对外部数据依赖比较严重时，问答系统，知识库系统等，那么需要什么技术解决呢？

提示词模板类结构

image.png

PromptTemplateStringActions 顶层接口

java
复制代码
package org.springframework.ai.chat.prompt;

import java.util.Map;

public interface PromptTemplateStringActions {

    // 根据模版以及填充词 生成提示词
    String render();
    // 根据模版生成提示词，并提供填充占位符的model，如果已经存在则会覆盖之前设置的
    String render(Map<String, Object> model);

}

PromptTemplateActions 接口

PromptTemplateActions 是 PromptTemplateStringActions 的子类，提供了两个生成提示词的接口，与父接口唯一不同的是返回值的对象不同。

java
复制代码
package org.springframework.ai.chat.prompt;

import java.util.Map;

public interface PromptTemplateActions extends PromptTemplateStringActions {
    // 根据提示词模板和填充词 生成Prompt对象
    Prompt create();

    // 根据提示词模板和填充词，并提供额外的model map 生成Prompt对象
    Prompt create(Map<String, Object> model);
}

对于PromptTemplateStringActions和PromptTemplateActions 两个接口的设计看着有些冗余，目前还不知道作者这么设计的意图是什么？咱们继续看其实现类，里面的实现是否相同以及使用的场景是啥？

经过思考一番后，作者设计意图是遵循设计六大原则的 单一职责和接口隔离原则，其次是在使用上更为方便。

PromptTemplate 实现类

这里只有关键核心代码

java
复制代码
public class PromptTemplate implements PromptTemplateActions, PromptTemplateMessageActions {

    private ST st;

    protected String template;
    
    // 可以根据Resource和String两种类型方式创建一个PromptTemplate对象
    public PromptTemplate(Resource resource) {
       try (InputStream inputStream = resource.getInputStream()) {
          this.template = StreamUtils.copyToString(inputStream, Charset.defaultCharset());
       }
       catch (IOException ex) {
          throw new RuntimeException("Failed to read resource", ex);
       }
       try {
          this.st = new ST(this.template, '{', '}');
       }
       catch (Exception ex) {
          throw new IllegalArgumentException("The template string is not valid.", ex);
       }
    }

    public PromptTemplate(String template) {
       this.template = template;
       // If the template string is not valid, an exception will be thrown
       try {
          this.st = new ST(this.template, '{', '}');
       }
       catch (Exception ex) {
          throw new IllegalArgumentException("The template string is not valid.", ex);
       }
    }

    public PromptTemplate(String template, Map<String, Object> model) {
       this.template = template;
       // If the template string is not valid, an exception will be thrown
       try {
          this.st = new ST(this.template, '{', '}');
          for (Entry<String, Object> entry : model.entrySet()) {
             add(entry.getKey(), entry.getValue());
          }
       }
       catch (Exception ex) {
          throw new IllegalArgumentException("The template string is not valid.", ex);
       }
    }

    public PromptTemplate(Resource resource, Map<String, Object> model) {
       try (InputStream inputStream = resource.getInputStream()) {
          this.template = StreamUtils.copyToString(inputStream, Charset.defaultCharset());
       }
       catch (IOException ex) {
          throw new RuntimeException("Failed to read resource", ex);
       }
       // If the template string is not valid, an exception will be thrown
       try {
          this.st = new ST(this.template, '{', '}');
          for (Entry<String, Object> entry : model.entrySet()) {
             this.add(entry.getKey(), entry.getValue());
          }
       }
       catch (Exception ex) {
          throw new IllegalArgumentException("The template string is not valid.", ex);
       }
    }

    public void add(String name, Object value) {
       this.st.add(name, value);
       this.dynamicModel.put(name, value);
    }

    // ------------  以下实现接口方法 -----------
    // Render Methods
    @Override
    public String render() {
       // validate方法就校验传入的map方法，与提示词模版中的占位符是否一致，如果不一致则抛出异常
       // 由于篇幅将校验方法删除了，详细内容可以看源码。
       validate(this.dynamicModel);
       // 生成提示词
       return st.render();
    }

    @Override
    public String render(Map<String, Object> model) {
       validate(model);
       for (Entry<String, Object> entry : model.entrySet()) {
          // 如果model中的key已经存在，则从st的map中移除
          if (this.st.getAttribute(entry.getKey()) != null) {
             this.st.remove(entry.getKey());
          }
          if (entry.getValue() instanceof Resource) {
             this.st.add(entry.getKey(), renderResource((Resource) entry.getValue()));
          }
          else {
             this.st.add(entry.getKey(), entry.getValue());
          }

       }
       return this.st.render();
    }

    private String renderResource(Resource resource) {
       try {
          return resource.getContentAsString(Charset.defaultCharset());
       }
       catch (IOException e) {
          throw new RuntimeException(e);
       }
    }
    
    
    // 根据生成的提示词，返回一个用户消息
    @Override
    public Message createMessage() {
       return new UserMessage(render());
    }

     // 根据生成的提示词，返回一个用户消息
    @Override
    public Message createMessage(List<Media> mediaList) {
       return new UserMessage(render(), mediaList);
    }

    // 根据生成的提示词，返回一个用户消息
    @Override
    public Message createMessage(Map<String, Object> model) {
       return new UserMessage(render(model));
    }
    // 根据提示词，返回一个提示词对象
    @Override
    public Prompt create() {
       return new Prompt(render(new HashMap<>()));
    }
    // 根据提示词，返回一个提示词对象
    @Override
    public Prompt create(Map<String, Object> model) {
       return new Prompt(render(model));
    }

}

实现类的实现是比较简单的，其魔法在于使用了 org.stringtemplate.v4.ST 模版解析，如果大家想深入了解其实现原理可以查看官网文档或者Github

Github：github.com/antlr/strin…

另外像Java还有类似的Freemark、Velocity等模版引擎，那么ST具有什么优势和其适应场景呢？在这里只是引出一个话题，大家可以根据自身情况进行学习。

PrompteTemplate三个子类

image.png 源码实现很简单，这里就不再贴代码了，简单介绍一下其作用；

  • AssistantPromptTemplate：创建大模型回复提示词对象
  • FunctionPromptTemplate：创建函数调用提示词对象
  • SystemPromptTemplate：创建系统提示词对象

像 ChatPromptTemplate 实现与上面介绍的基本上相似，不再做分析。

提示词模板使用示例

第一个案例

当我们输入导演名称，查询导演的最受欢迎的电影是什么？哪年发行的，电影讲述的什么内容？

提示词模版 film.st

请问{director}导演最受欢迎的电影是什么？哪年发行的，电影讲述的什么内容？

代码实现

java
复制代码
package com.ivy.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.chat.prompt.PromptTemplate;
import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Map;

@RestController
public class PromptTemplateController {

    @Resource
    private OpenAiChatModel openAiChatModel;


    @Value("classpath:film.st")
    private org.springframework.core.io.Resource template;

    @GetMapping("/prompt")
    public String prompt(String director) {

        Map<String, Object> map = Map.of("director", director);
        PromptTemplate promptTemplate = new PromptTemplate(template, map);
        Prompt prompt = promptTemplate.create();

        ChatClient chatClient = ChatClient.builder(openAiChatModel)
                .build();
        return chatClient.prompt(prompt).call().content();
    }
}

使用Postman验证

image.png

第二个小案例

当我们输入编程语言、描述、方法名称，生成一个方法

提示词模版设计 code.st

java
复制代码
/**
  * @language {language}
  * @method {methodName}
  * @describe {description}
  */

代码实现

java
复制代码
package com.ivy.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.chat.prompt.PromptTemplate;
import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Map;

@RestController
public class PromptTemplateController {

    @Resource
    private OpenAiChatModel openAiChatModel;
    
    @Value("classpath:code.st")
    private org.springframework.core.io.Resource codeTemplate;

    @GetMapping("/code")
    public String code(String language, String methodName, String description) {
        PromptTemplate promptTemplate = new PromptTemplate(codeTemplate);
        Prompt prompt = promptTemplate.create(
                Map.of("language", language, "methodName", methodName, "description", description)
        );
        ChatClient chatClient = ChatClient.builder(openAiChatModel)
                .build();
        return chatClient.prompt(prompt).call().content();
    }
}

Postman验证

当输入language=java&methodName=quickSort&description=写一个快速排序算法 时 image.png

当输入language=python&methodName=quickSort&description=写一个快速排序算法 时

image.png

代码示例

github.com/fangjieDevp…

总结

本篇文章主要对Spring AI 框架的提示词模板设计进行源码分析，目前看设计上还是比较简单，底层使用了org.stringtemplate.v4.ST框架实现。然后提供了两个小示例来演示使用。比如第一个小示例，相当于提问三个方面的问题，大家有没有什么想法，将这三个方面的内容组成一个Film对象格式化返回呢？Spring AI框架已经提供了这方面的支持，请看后续文章。

对于提示词工程相关的技术也会出一些系列文章，对提示词技术进行讲解与实践，敬请期待！！

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
  • 21
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【人工智能】浅谈LLM大模型对程序员的冲击和影响
禅与计算机程序设计艺术
05-31 1万+
在LLM时代，程序员需要不断学习新技能、适应新变化。只有这样，才能充分利用LLM大模型带来的机遇，推动软件研发领域不断进步。
最全的开源 LLM （大语言模型）整理.zip
09-04
在当今的AI领域，大语言模型（LLM，Large Language Models）已经成为了技术发展的焦点。这些模型能够处理大量的文本数据，理解和生成人类语言的能力日益增强，为自然语言处理（NLP）带来了革命性的变化。本资源包...
【Spring AI】07. 提示词
u011046509的博客
04-29 1610
常见的做法是使用 ChatClient 的 generate方法，该方法接受一个Prompt实例并返回一个ChatResponse。Prompt 类作为一个有序的 Message 对象容器，每个 Message 对象是整个提示词的一个部分。每个 Message 在提示词中扮演着独特的角色，其内容和意图各不相同。这些角色可以涵盖各种元素，从用户查询到 AI 生成的响应或相关背景信息。这种安排使得与 AI 模型进行复杂和详细的交互成为可能，因为提示词由多个消息构成，每个消息在对话中扮演着特定的角色。
Spring AI教程（三）Image API之绘图快速入门及源码介绍
qq_41481367的博客
04-23 1010
Spring AI提供了图片生成接口，该接口可以用于与各种专门用于图像生成的人工智能模型进行交互，允许开发人员以最少的代码更在在不同的图像相关模型之间切换。
Spring AI -使用Spring快速开发ChatGPT应用
热门推荐
qq_41481367的博客
11-08 2万+
本篇文章将会对SpringAI进行简单的介绍和使用，并通过SpringBoot来集成SpringAI实际开发出一个简单的http对话接口。
【LangChain系列 6】Prompt模版——自定义prompt模版
记录技术成长之路
09-11 620
本文介绍了自定义prompt模版的两种方式：字符串prompt模版和对话prompt模版，并基于字符串prompt模版，实现了一个prompt模版：输入一个方法名，输出该方法功能的prompt。
Spring AI教程（二）Chat API之Prompts模板语法
qq_41481367的博客
04-22 920
Spring AI为我们提供了提示词模板，允许我们通过一些模板，快速地动态生成提示词并发起提问。
Spring AI 大模型返回内容格式化源码分析及简单使用
m0_65555479的博客
06-12 1026
*** 电影返回对象*/
LLM大模型技术实战10：一文带你入门大模型开发框架Langchain
python1234567_的博客
05-29 2099
你可能听说过，最近几个月出现了很多人工智能的应用程序。你可能也在用一些这样的应用。比如ChatPDF和CustomGPT AI这些AI工具，它们可以帮我们省去很多麻烦，我们不用再翻来覆去地看文档，就能找到想要的答案。它们让AI为我们做了很多工作。那么，开发这些工具的人是怎么做到的呢？其实，他们都用了一个叫LangChain的开源框架。01。
LLM大模型技术分析（Python）
12-19
标题 "LLM大模型技术分析（Python）" 暗示了我们正在探讨的是一个基于Python编程语言的大规模语言模型（Large Language Model, LLM）。这类模型通常用于自然语言处理任务，如机器翻译、文本生成、问答系统和对话代理...
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
在当前的IT领域，大语言模型的部署是热门话题，特别是在人工智能和自然语言处理（NLP）的应用中。本文将详细解析如何利用OpenVINO工具部署LLM（Large Language Model）大语言模型，如LLama2、ChatGLM3和Qwen7B，并...
大语言模型LLM面试题及答案
07-23
适合人群：对大语言模型感兴趣的AI研究人员、工程师以及相关领域的学生。 能学到什么：①大语言模型的基本概念、架构和训练方法；②LangChain框架的使用和核心概念；③分布式训练技术如数据并行、张量并行等；④推理...
《AI大模型应用》--基于LLM的AI 学术助手.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有ChatGPT账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
为边缘开发由生成式 AI 驱动的视觉 AI 智能体
专注于人工智能领域的小何尚
07-25 962
可视化 AI 智能体由 VLM 提供支持，您可以在其中用自然语言提出广泛的问题，并获得反映录制或直播视频中真实意图和背景的见解。这些智能体可以通过易于使用的 REST API 进行交互，并与其他服务甚至移动应用程序集成。这种新一代可视化 AI 智能体有助于总结场景、创建各种警报并使用自然语言从视频中提取可操作的见解。
【自然语言处理】概论（一）：自然语言处理概要
古月居
07-25 424
语言：语言就广义而言，是采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉等方式来传递。可以分为:自然语言、动物语言、计算机语言。。。自然语言人类在发展过程中形成的一种信息交流方式，包括口语和书面语，反映人类的思想。它自然地随文化演化，是人类用来沟通的指令，可以通过视觉、声音或触觉等方式传递。定义：自然语言处理是计算机科学和人工智能的一个分支，它旨在开发能够理解和生成人类语言的技术。通过建立形式化计算模型来分析、理解和生成自然语言的学科。
随机数种子的作用
帆的博客
07-23 1140
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
常见的文心一言的指令
最新发布
知码客
07-25 400
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
2023年AI大模型巅峰对话：探索Transformer与微调的未来
"2023最新AI大模型学习与讨论聚焦于人工智能领域的发展前沿，特别是大语言模型（LLM）技术的崛起。大模型如GPT系列，利用深度学习和海量文本数据进行训练，其核心在于Transformer架构和预训练与微调策略。随着数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值