本文将对 Spring AI 框架对函数调用实现的源码以及背后的思想进行分析，并使用 Spring AI实现函数调用的功能。
函数调用是大模型的基础能力，在ReAct提示词框架、智能体Agent开发，都会用到函数调用，这是一个非常基础的知识点，大家务必掌握。
大模型为什么要函数调用
大语言模型(LLMs)是预训练的，而且一次训练的成本非常昂贵。据网络数据说GPT4一次训练大约需要25000个A100GPU。再加上机器、电费等等 需消耗6300万美金。
- 预训练,
没有最新信息，GPT将无法感知。比如GPT3.5训练截止日期为2022年4月 - 大模型是语言模型，
无真逻辑。比如进行数学计算，无法每次准确计算出结果。
基于大模型存在的问题，函数调用机制解决了这些不足。它允许您注册自己的函数，将大型语言模型连接到外部系统的API。这些系统可以为LLMs提供实时数据或者执行复杂的计算。
函数调用功能可以增强模型推理效果或进行其他外部操作，包括信息检索、数据库操作、知识图谱搜索与推理、操作系统、触发外部操作等工具调用场景。
特别需要说明：大模型的 Function call 不会执行任何函数调用，仅返回调用函数所需要的参数。开发者可以利用模型输出的参数在应用中执行函数调用。
哪些大模型支持函数调用
我们仅看Spring AI框架集成的大模型里，哪些支持函数调用，对于未集成的我们不做讨论。在大模型选型时，大模型是否支持函数调用一般都是需要考虑的重点。
Spring AI 函数调用框架
Spring AI 框架函数调用设计框架如下； 
将详细介绍一下其执行流程；
- 将定义的函数（函数名/方法/参数/方法描述/参数描述)）以
Prompt发送给AI Model。 AI Model根据函数相关信息，返回函数所需要的参数。Spring AI根据 AI Model 返回的参数进行函数调用（内部函数/外部函数）。Spring AI将函数执行的结果，在发送给AI Model。AI Model根据发送的函数执行结果，生成消息返回给客户端。
在这个过程中 AI Model 本身并不执行函数的调用，而仅仅是根据方法的描述，返回方法所需要的返回值，函数调用仅发生在调用端侧。
Spring AI 函数调用源码
类结构
classDiagram
ChatModel <|.. OpenAiChatModel
StreamingChatModel <|.. OpenAiChatModel
AbstractFunctionCallSupport <|-- OpenAiChatModel
AbstractFunctionCallSupport --> FunctionCallback
AbstractFunctionCallSupport o-- FunctionCallbackContext
Function <|--AbstractFunctionCallback
FunctionCallback <|-- AbstractFunctionCallback
AbstractFunctionCallback <|-- FunctionCallbackWrapper
AbstractFunctionCallback --> TypeResolverHelper
ApplicationContextAware <|-- FunctionCallbackContext
AbstractFunctionCallback --> FunctionCallbackContext
FunctionCallbackContext --> TypeResolverHelper
FunctionCallingOptions <|.. OpenAiChatOptions
FunctionCallingOptions --> FunctionCallingOptionsBuilder
从类结构上看，整体整体实现较为复杂。下面咱们详细介绍每个类的作用；
AbstractFunctionCallSupport
protected final Map<String, FunctionCallback> functionCallbackRegister = new ConcurrentHashMap<>();
其中维护一组注册的 FunctionCallback 对象，然后封装调用过程中的通用逻辑。
FunctionCallbackContext
从Spring容器上下文中根据函数名称查找Bean，并将Bean包装为FunctionCallback对象返回。函数的名称定义为Bean的名称。函数的描述要遵循如下规则；
- 使用 @Description 注解描述类
- 使用 @JsonClassDescription 注解描述参数类
FunctionCallback
定义获取函数的方法，比如获取函数的名称，函数的描述，函数输入参数Schema，以及调用函数
public interface FunctionCallback {
// 函数的名称，必须唯一
public String getName();
// 返回函数的描述
public String getDescription();
// 返回函数入参的Json schema描述
public String getInputTypeSchema();
// 调用函数，当模型检测并触发调用函数时
public String call(String functionInput);
}
AbstractFunctionCallback
该类主要起到承上启下的作用，对大模型侧需要转换为大模型需要的函数调用的协议，对于3rd，需要包装调用第三方服务或者函数。在使用上我们对该类的作用是无感知的。
FunctionCallbackWrapper
负责将输出转换为模型可以使用的格式，默认实现是在将输出发送给模型之前将其转换为字符串。可以提供一个自定义的函数responseConverter实现来覆盖此操作。
类之间的协作关系
函数调用示例
将演示一个实时查询天气温度的程序。因为对于大模型来说，无法获取最新的数据。
定义函数，为了快速方便演示，模拟返回气温
package org.ivy.func;
import com.fasterxml.jackson.annotation.JsonClassDescription;
import com.fasterxml.jackson.annotation.JsonInclude;
import com.fasterxml.jackson.annotation.JsonInclude.Include;
import com.fasterxml.jackson.annotation.JsonProperty;
import com.fasterxml.jackson.annotation.JsonPropertyDescription;
import java.util.function.Function;
public class MockWeatherService implements Function<MockWeatherService.Request, MockWeatherService.Response> {
/**
* Weather Function request.
*/
@JsonInclude(Include.NON_NULL)
@JsonClassDescription("获取天气温度接口")
public record Request(
@JsonProperty(required = true, value = "location") @JsonPropertyDescription("城市的名称 e.g. 北京") String location,
@JsonProperty(required = true, value = "unit") @JsonPropertyDescription("温度单位") Unit unit) {
}
/**
* Temperature units.
*/
public enum Unit {
C, F
}
/**
* Weather Function response.
*/
public record Response(double temp, Unit unit) {
}
@Override
public Response apply(Request request) {
System.out.println("function called :" + request);
double temperature = 0;
if (request.location().contains("北京")) {
temperature = 15;
} else if (request.location().contains("天津")) {
temperature = 10;
} else if (request.location().contains("南京")) {
temperature = 30;
}
return new Response(temperature, Unit.C);
}
}
将函数注册到 Spring 容器
package org.ivy.config;
import org.ivy.func.MockWeatherService;
import org.springframework.ai.model.function.FunctionCallback;
import org.springframework.ai.model.function.FunctionCallbackWrapper;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class Config {
@Bean
public FunctionCallback weatherFunctionInfo() {
return FunctionCallbackWrapper.builder(new MockWeatherService())
.withName("WeatherInfo")
.withDescription("获取城市的天气")
.withResponseConverter((response) -> "" + response.temp() + response.unit())
.build();
}
}
定义接口
package org.ivy.controller;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.chat.prompt.PromptTemplate;
import org.springframework.ai.zhipuai.ZhiPuAiChatModel;
import org.springframework.ai.zhipuai.ZhiPuAiChatOptions;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
import java.util.Map;
@RestController
public class FunctionCallingController {
private final ZhiPuAiChatModel zhiPuAiChatModel;
@Value("classpath:weather.st")
private org.springframework.core.io.Resource weather;
public FunctionCallingController(ZhiPuAiChatModel zhiPuAiChatModel) {
this.zhiPuAiChatModel = zhiPuAiChatModel;
}
/**
* 没有函数调用，看看返回结果
*
* @return 返回天气情况
*/
@GetMapping("/noFunc")
public String noFunc(String prompt) {
ChatResponse called = zhiPuAiChatModel.call(
new PromptTemplate(weather, Map.of("prompt", prompt))
.create()
);
return called.getResult().getOutput().getContent();
}
/**
* 调用函数，看看返回结果
*
* @return 天气状况
*/
@GetMapping("/func")
public String func(String prompt) {
UserMessage userMessage = new UserMessage(prompt);
ChatResponse response = zhiPuAiChatModel.call(
new Prompt(List.of(userMessage), ZhiPuAiChatOptions.builder()
.withFunction("WeatherInfo").build())
);
return response.getResult().getOutput().getContent();
}
}
定义两个方法，一个无函数调用，一个有函数调用，对比两者效果。
验证效果
我们先验证没有函数调用的情况，如下图所示： 
开始一通胡说八道，所以对于需要最新的，准确的回答，大模型比较难做到，因为它是基于推理进行的。我们改一下提示词，不知道的时候，让回答不知道
问题: {prompt}, 如果你无法获取到最新的真实有效的数据，请回答：抱歉
在验证有函数调用的情况，如下图所示： 
总结
本篇文章主要对大模型中函数调用的概念、作用、解决的问题进行讲解。并对 Spring AI 框架实现的源码进行分析，目前分析的还不透彻，但不耽误开发程序。最后Spring AI接入智普大模型进行演示了无函数与有函数调用的区别。
如何系统的去学习大模型LLM ？
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
阶段1：AI大模型时代的基础理解
- 目标：了解AI大模型的基本概念、发展历程和核心原理。
- 内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
- 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
- 内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架应用现状
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架与Thought
- L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
- L2.3.1 流水线工程的概念
- L2.3.2 流水线工程的优点
- L2.3.3 流水线工程的应用
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
- 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
- 内容：
- L3.1 Agent模型框架
- L3.1.1 Agent模型框架的设计理念
- L3.1.2 Agent模型框架的核心组件
- L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
- L3.3.1 ChatGLM的特点
- L3.3.2 ChatGLM的开发环境
- L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
- L3.4.1 LLAMA的特点
- L3.4.2 LLAMA的开发环境
- L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
- 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
- 内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
学习计划：
- 阶段1：1-2个月，建立AI大模型的基础知识体系。
- 阶段2：2-3个月，专注于API应用开发能力的提升。
- 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
- 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓
扫一扫
6677
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
