AI大模型学习笔记-- Function Calling

最新推荐文章于 2024-07-20 11:30:00 发布

IT猫仔

最新推荐文章于 2024-07-20 11:30:00 发布

阅读量1k

点赞数 13

文章标签：人工智能学习笔记

本文链接：https://blog.csdn.net/2301_82275412/article/details/138541978

版权

AI大模型学习笔记-- Function Calling

前面的文章已经多次提到Function Calling，可见Function Calling在AI大模型搭建的重要性。

我们已经知道通过Function calling可以让用户能够高效的使用外部工具、外部API进行交互，来实现一些基础大模型无法完成的推理。

那么，今天我们一起来学习Function Calling的概念，以及在构建私有专属大模型中的应用。

什么是Function Calling

Function Calling是OpenAI在2023年6月13日发布在Chat Completions API中添加的新能力，帮助开发者通过API方式实现类似于ChatGPT插件的数据交互能力。

Chat Completion模型是一种基于人工智能的自然语言处理技术，可以根据用户的输入生成相应的回答。

而Function Calling允许用户在使用模型处理特定问题时，定制并调用专有的函数，这些函数可以是专门为处理特定任务（如数据分析、图像处理等）而设计的代码块，从而让Chat Completion模型可以调用外部函数获取信息再针对输出进行格式化。

这个描述可能有点难以理解，简单来说，就是OpenAI允许我们通过调用外部数据的方式来增强大模型，那么调用外部数据的方式就是这个Function Calling，翻译过来叫函数调用。

附上Function Calling官方文档地址：https://platform.openai.com/docs/guides/function-calling

Function Calling有什么用

通过使用函数调用能力，可以满足当前大模型无法解决的部分问题，包括：

• 在进行自然语言交互时，可以通过调用外部工具回答问题（类似于 ChatGPT 插件）。
• 将自然语言转换为调用API时使用的参数，或者查询数据库时使用的条件。
• 从文本中提取结构化数据。

如何使用Function Calling

为了实现Function Calling能力，OpenAI对Chat Completion进行了修改，增加了新的请求参数、响应类型以及消息角色，应用开发者需要：

• 在请求参数中向Chat Completion传递信息，描述应用所提供的可调用函数的信息。
• 解析Chat Completion响应的消息类型，若模型决定需要调用函数，则根据模型返回的函数信息和函数传参调用函数，并获得返回结果。
• 将函数返回的结果添加到消息列表中，并再次调用Chat Completion。

定义外部调用的函数

大模型具有执行多个函数的能力，并且允许并行执行和解释函数调用返回的结果，因此我们需要先定义好一个或多个函数。

定义tools

请求参数tools为当前应用可调用的函数的列表（以前的命名为functions）。函数信息中包含了函数的名称、自然语言描述、以及函数所支持传入的参数信息。

tools参数的格式如下：

tools = [  
    {  
      name: '函数名',  
      description: '该函数所具备能力的自然语言描述',  
      parameters: {  
        type: 'object',  
        properties: {  
          argument_name: {  
            type: 'string',  
            description: '该参数的自然语言描述'  
          },  
          // ...  
        },  
        required: ['argument_name']  
      }  
    },  
    // ...  
]

tools参数支持以数组形式录入多组函数信息，我们可以定义一个或多个tools，由大模型决定调用谁，其中：

• name：函数名称。后续模型会在需要调用函数时返回此名称。
• description：函数功能描述。模型通过该描述理解函数能力，并判断是否需要调用该函数。
• parameters.properties：函数所需的参数。以对象的形式描述函数所需的参数，其中对象的 key 即为参数名。
• type：参数类型。支持 JSON Schema 协议。
• description：参数描述。
• required：必填参数的参数名列表。

在环境中注册函数

我们需要在环境中注册这些函数，才能让大模型知道并能在需要的时候调用。

response = client.chat.completions.create(  
    model="gpt-3.5-turbo",  
    messages=messages,  
    tools=tools,  
    tool_choice="auto",  # auto is default, but we'll be explicit  
)

tool_choice: "auto"是默认的，由模型自行决定是否调用函数，也可以设置tool_choice: "none"来强制模型生成面向用户的消息。

tool_calls

response_message = response.choices[0].message  
tool_calls = response_message.tool_calls

如果使用函数，则输出将在响应中包含 “finish_reason”: “tool_calls” ，以及具有tool_calls函数名称和生成的函数参数的对象。

function_to_call

前面的文章我们说过，大模型不会直接执行函数，也并不是大模型让我们干什么我们就得干什么，另外也需要规避无限调用的可能，我们可以把大模型返回的tool_calls当作一个建议，需要进行判断，再决定是否调用。

if (tool_calls is not None):  
    for tool_call in tool_calls:  
        if (逻辑判断):  
            function_name = tool_call.function.name  
            function_to_call = available_functions[function_name]  
            function_args = json.loads(tool_call.function.arguments)  
            function_response = function_to_call(  
                ...  
            )  
            # 把函数调用结果加入到对话历史中  
            messages.append(  
                {  
                    "tool_call_id": tool_call.id,  
                    "role": "tool",  
                    "name": function_name,  
                    "content": function_response,  
                }  
            )  
            # 再次请求大模型  
            second_response = client.chat.completions.create(  
                model="gpt-3.5-turbo",  
                messages=messages,  
            )