用Function Calling 连接大模型和业务，用自然语言连接系统的认知

最新推荐文章于 2024-10-10 11:54:20 发布
最新推荐文章于 2024-10-10 11:54:20 发布
阅读量1k 收藏 28
点赞数 7
文章标签： 产品经理 人工智能 prompt chatgpt agi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42924914/article/details/142129597
版权

前言

本篇文章，我们重点介绍Function Calling的机制和应用，在其原理上，也讲解了为什么会有plugin、GPTs出现等等。

回顾大模型09-大模型应用开发之业务架构和技术架构（从AI Embedded 到 Copilot,再到Agent），核心要点：

1.大模型应用的一切，是自然语言连接系统的认知

2.在Function Calling的应用中，是如何把大模型和业务连接起来的

3.OpenAI用GPTs连接外部世界

我们本文和后续文章，在实际的应用，都会以ChatGPT来讲，无他，公认的，ChatGPT的能力毋庸置疑。

自然语言连接一切（Natural Language Interface），接口的进化

我们以前的接口，经历了多个版本的进化：

image.png

在这个过程中，媒介发生很多变化，但是都离不开一个共同点，那就是要有约定，要有规划，要有程序员的对接实现。

而在面对ChatGPT为例的一系列大模型，我们在面对的就是自然语言的接口，在这个强大的能力加持下，我们在面对计算机等智能设备时，我们可以用自然语言对它发出指令，实现我们的意图。

这里重新强调了这一点，是因为我们要清楚，面对AIGC的重大革新，不管是我们在日常生活中使用LLM，还是我们要基于LLM做应用开发，我们思维上首先要转变的就是要把计算机当成一个人，有了这个认识，接下来我们才能更好的使用它。

为什么要让大模型连接外部世界

有的伙伴可能会说，大模型既然能力已经很强了，为什么还要连接外部世界呢。之前我们也讲过，大模型有它自己的能力缺陷，或者说不擅长的：

  1. 并非知晓一切
    1. 训练数据不可能什么都有。垂直、非公开数据必有欠缺
    2. 不知道最新信息。大模型的训练周期很长，且更新一次耗资巨大，还有越训越傻的风险。所以 ta 不可能实时训练。GPT-3.5 的知识截至 2021 年 9 月，GPT-4 是 2023 年 12 月。
  2. 没有「真逻辑」。它表现出的逻辑、推理，是训练文本的统计规律，而不是真正的逻辑，所以有幻觉。

为了解决这个问题，就是我们所说的要连接外部世界：大模型需要连接真实世界，并对接真逻辑系统。

Function Calling 的机制

我们说，Function Calling 技术可以把大模型和业务系统连接，实现更丰富的功能。我们先看下它的由来和定义，以及用途，就能理解这一点了。

Function Calling的定义

函数调用（Function Calling） 是 OpenAI 在 6 月 13 日发布的新能力。根据官方博客描述，函数调用能力可以让模型输出一个请求调用函数的消息，其中包含所需调用的函数信息、以及调用函数时所携带的参数信息。这是一种将 GPT 能力与外部工具 / API 连接起来的新方式。

支持函数调用的新模型，可以根据用户的输入自行判断何时需要调用哪些函数，并且可以根据目标函数的描述生成符合要求的请求参数。

Function Calling 的机制

它的使用逻辑是这样的，我们用张图来解释;

image.png

Function Calling 完整的官方接口文档：platform.openai.com/docs/guides…

我们可以看到，对于人来讲，我们还是一段自然语言的prompt输入，得到一个自然语言的回答，但是因为有了Function Calling，可以通过开发各种各样的函数，来丰富和增强大模型的能力。

Function Calling 的示例、体验

我们来看一个 Function Calling的简单使用实例：

需求：定义一个函数，可以让chatgpt进行精确的数学计算，并返回精确结果。

实现：

img

输出结果：

csharp代码解读复制代码{
    "content": null,
    "role": "assistant",
    "function_call": null,
    "tool_calls": [
        {
            "id": "call_EoBm8iVtl000rAZSyWe9qlk8",
            "function": {
                "arguments": "{"numbers":[1,2,3,4,5,6,7,8,9,10]}",
                "name": "sum"
            },
            "type": "function"
        }
    ]
}
=====GPT回复=====
{
    "content": null,
    "role": "assistant",
    "function_call": null,
    "tool_calls": [
        {
            "id": "call_EoBm8iVtl000rAZSyWe9qlk8",
            "function": {
                "arguments": "{"numbers":[1,2,3,4,5,6,7,8,9,10]}",
                "name": "sum"
            },
            "type": "function"
        }
    ]
}
=====函数返回=====
55
=====最终回复=====
The sum of 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 is 55.

支持 Function Calling 的国产大模型

  • Function Calling 会成为所有大模型的标配，支持它的越来越多
  • 不支持的大模型，某种程度上是不大可用的

百度文心大模型

官方文档：cloud.baidu.com/doc/WENXINW…

百度文心系列大模型有四个。按发布时间从早到晚是：

  1. ERNIE-Bot - 支持 Function Calling
  2. ERNIE-Bot-turbo
  3. ERNIE-Bot 4.0
  4. ERNIE-Bot 3.5 - 支持 Function Calling

参数大体和 OpenAI 一致。

MiniMax

官方文档：api.minimax.chat/document/gu…

  • 这是个公众不大知道，但其实挺强的大模型，尤其角色扮演能力
  • 如果你曾经在一个叫 Glow 的 app 流连忘返，那么你已经用过它了
  • 应该是最早支持 Function Calling 的国产大模型
  • Function Calling 的 API 和 OpenAI 1106 版之前完全一样，但其它 API 有很大的特色

ChatGLM3-6B

官方文档：github.com/THUDM/ChatG…

  • 最著名的国产开源大模型，生态最好
  • 早就使用 tools 而不是 function 来做参数，其它和 OpenAI 1106 版之前完全一样

讯飞星火 3.0

官方文档：www.xfyun.cn/doc/spark/W…

和 OpenAI 1106 版之前完全一样。

OpenAI 用 Actions 连接外部世界

第一次尝试用 Plugins 连接真实世界，但产品很不成功，原因：

  1. 不在「场景」中，不能提供端到端一揽子服务
  2. 缺少「强 Agent」调度，只能手工选三个 plugin，使用成本太高

第二次尝试，升级为 Actions，内置到 GPTs 中，解决了落地场景问题。

小瓜 GPT 已经接入了高德地图 actions，可以试试问位置相关的问题：chat.openai.com/g/g-DxRsTzz…

工作流程：

image.png

和Funtion Calling有点不一样，但是基本原理都是一样的

Actions对接示例

把 API 对接到 GPTs 里，只需要配置一段 API 描述信息：

yaml代码解读复制代码openapi: 3.1.0
info:
  title: 高德地图
  description: 获取 POI 的相关信息
  version: v1.0.0
servers:
  - url: https://restapi.amap.com/v5/place
paths:
  /text:
    get:
      description: 根据POI名称，获得POI的经纬度坐标
      operationId: get_location_coordinate
      parameters:
        - name: keywords
          in: query
          description: POI名称，必须是中文
          required: true
          schema:
            type: string
        - name: region
          in: query
          description: POI所在的区域名，必须是中文
          required: false
          schema:
            type: string
      deprecated: false
  /around:
    get:
      description: 搜索给定坐标附近的POI
      operationId: search_nearby_pois
      parameters:
        - name: keywords
          in: query
          description: 目标POI的关键字
          required: true
          schema:
            type: string
        - name: location
          in: query
          description: 中心点的经度和纬度，用逗号分隔
          required: false
          schema:
            type: string
      deprecated: false
components:
  schemas: {}

还需要配置 API key 来满足权限要求。

image.png

这里的所有 name、description 都是 prompt，决定了 GPT 会不会调用你的 API，调用得是否正确。
在这里插入图片描述

GPTs 与它的平替们

OpenAI GPTs

  1. 无需编程，就能定制个性对话机器人的平台
  2. 可以放入自己的知识库，实现 RAG（后面会讲）
  3. 可以通过 actions 对接专有数据和功能
  4. 内置 DALL·E 3 文生图和 Code Interpreter 能力
  5. 只有 ChatGPT Plus 会员可以使用

推荐两款平替：

字节跳动 Coze（扣子）中国版 国际版

  1. 国际版可以免费使用 GPT-4 等 OpenAI 的服务！大羊毛！
  2. 中国版发展势头很猛，使用云雀大模型
  3. 功能更强大

Dify

  1. 开源，中国公司开发
  2. 功能最丰富
  3. 可以本地部署，支持非常多的大模型
  4. 有 GUI，也有 API

有这类无需开发的工具，为什么还要学大模型开发技术呢？

  1. 它们都无法针对业务需求做极致调优
  2. 它们和其它业务系统的集成不是特别方便

总结

大模型需要，且我们一直都在努力连接外部世界，从ChatGPT的plugin，到GPTs,再到Function Calling。 我们都想给大模型更丰富，更强大的能力。

大模型中的Function Calling更是一种强大的功能，它能够增强模型的功能、提高数据的准确性并提升、用户体验。随着技术的不断发展，Function Calling的应用场景将会越来越广泛，为人工智能领域的发展带来更多的可能性。

同时，在实际落地场景中，给了开发者提供了更多的自由度，我们可以加强输入，也可以整合输出，来增强自己业务的目的。

大模型资源分享

“最先掌握 AI 的人，相较于较晚掌握 AI 的人而言，将具备竞争优势。”这句话放在计算机、互联网以及移动互联网的开局时期，同样适用。

我在一线互联网企业工作长达十余年，期间指导过众多同行后辈，助力许多人实现了学习与成长。为此，我将重要的 AI 大模型资料，包括 AI 大模型入门学习思维导图、精品 AI 大模型学习书籍手册、视频教程以及实战学习等录播视频免费分享出来。
在这里插入图片描述

一、全套 AGI 大模型学习路线

AI 大模型时代的精彩学习之旅：从根基铸就到前沿探索，牢牢掌握人工智能核心技能！

在这里插入图片描述

二、640 套 AI 大模型报告合集

此套涵盖 640 份报告的精彩合集，全面涉及 AI 大模型的理论研究、技术实现以及行业应用等诸多方面。无论你是科研工作者、工程师，还是对 AI 大模型满怀热忱的爱好者，这套报告合集都将为你呈上宝贵的信息与深刻的启示。

在这里插入图片描述

三、AI 大模型经典 PDF 书籍

伴随人工智能技术的迅猛发展，AI 大模型已然成为当今科技领域的一大热点。这些大型预训练模型，诸如 GPT-3、BERT、XLNet 等，凭借其强大的语言理解与生成能力，正在重塑我们对人工智能的认知。而以下这些 PDF 书籍无疑是极为出色的学习资源。
在这里插入图片描述
在这里插入图片描述

阶段 1：AI 大模型时代的基础认知

  • 目标：深入洞悉 AI 大模型的基本概念、发展历程以及核心原理。

  • 内容

    ：

    • L1.1 人工智能概述与大模型起源探寻。
    • L1.2 大模型与通用人工智能的紧密关联。
    • L1.3 GPT 模型的辉煌发展历程。
    • L1.4 模型工程解析。
    • L1.4.1 知识大模型阐释。
    • L1.4.2 生产大模型剖析。
    • L1.4.3 模型工程方法论阐述。
    • L1.4.4 模型工程实践展示。
    • L1.5 GPT 应用案例分享。

阶段 2：AI 大模型 API 应用开发工程

  • 目标：熟练掌握 AI 大模型 API 的运用与开发，以及相关编程技能。

  • 内容
    ：

    • L2.1 API 接口详解。
    • L2.1.1 OpenAI API 接口解读。
    • L2.1.2 Python 接口接入指南。
    • L2.1.3 BOT 工具类框架介绍。
    • L2.1.4 代码示例呈现。
    • L2.2 Prompt 框架阐释。
    • L2.2.1 何为 Prompt。
    • L2.2.2 Prompt 框架应用现状分析。
    • L2.2.3 基于 GPTAS 的 Prompt 框架剖析。
    • L2.2.4 Prompt 框架与 Thought 的关联探讨。
    • L2.2.5 Prompt 框架与提示词的深入解读。
    • L2.3 流水线工程阐述。
    • L2.3.1 流水线工程的概念解析。
    • L2.3.2 流水线工程的优势展现。
    • L2.3.3 流水线工程的应用场景探索。
    • L2.4 总结与展望。

阶段 3：AI 大模型应用架构实践

  • 目标：深刻理解 AI 大模型的应用架构，并能够实现私有化部署。

  • 内容
    ：

    • L3.1 Agent 模型框架解读。
    • L3.1.1 Agent 模型框架的设计理念阐述。
    • L3.1.2 Agent 模型框架的核心组件剖析。
    • L3.1.3 Agent 模型框架的实现细节展示。
    • L3.2 MetaGPT 详解。
    • L3.2.1 MetaGPT 的基本概念阐释。
    • L3.2.2 MetaGPT 的工作原理剖析。
    • L3.2.3 MetaGPT 的应用场景探讨。
    • L3.3 ChatGLM 解析。
    • L3.3.1 ChatGLM 的特色呈现。
    • L3.3.2 ChatGLM 的开发环境介绍。
    • L3.3.3 ChatGLM 的使用示例展示。
    • L3.4 LLAMA 阐释。
    • L3.4.1 LLAMA 的特点剖析。
    • L3.4.2 LLAMA 的开发环境说明。
    • L3.4.3 LLAMA 的使用示例呈现。
    • L3.5 其他大模型介绍。

阶段 4：AI 大模型私有化部署

  • 目标：熟练掌握多种 AI 大模型的私有化部署，包括多模态和特定领域模型。

  • 内容
    ：

    • L4.1 模型私有化部署概述。
    • L4.2 模型私有化部署的关键技术解析。
    • L4.3 模型私有化部署的实施步骤详解。
    • L4.4 模型私有化部署的应用场景探讨。

学习计划：

  • 阶段 1：历时 1 至 2 个月，构建起 AI 大模型的基础知识体系。
  • 阶段 2：花费 2 至 3 个月，专注于提升 API 应用开发能力。
  • 阶段 3：用 3 至 4 个月，深入实践 AI 大模型的应用架构与私有化部署。
  • 阶段 4：历经 4 至 5 个月，专注于高级模型的应用与部署。
    在这里插入图片描述
AI大模型训练家
关注
大语言模型应用指南：function calling
AI天才研究院
09-19 807
大语言模型应用指南：function calling 1. 背景介绍 1.1 问题的由来 随着大语言模型（Large Language Model, LLM）的普及和应用范围的扩大，人们开始探索如何更有效地利用这些模型进行复
给大模型装上手，通过 Function Calling 查询数据库：实现高效数据处理的新方式
xx_nm98的博客
07-21 1173
Function Calling，顾名思义，就是通过调用函数的方式来完成特定任务。在数据库查询中，Function Calling指的是将查询操作封装成函数，通过调用这些函数来完成数据库查询。与传统的SQL查询语句不同，Function Calling具有更高的可读性和复用性。
用自然语言连接系统的认知，用Function Calling 连接大模型和业务
2401_82469710的博客
04-26 1464
本篇文章，我们重点介绍Function Calling的机制和应用，在其原理上，也讲解了为什么会有plugin、GPTs出现等等。
【AI大模型应用开发】Function Calling连接外部世界 - 入门与实战（1）
2301_81888214的博客
05-02 1232
Function Calling是大模型连接外部世界的通道，目前出现的插件（Plugins ）、OpenAI的Actions、各个大模型平台中出现的tools工具集，其实都是Function Calling的范畴。
大模型为什么能把业务系统拉通?Function Calling全面解析
Z987421的博客
07-23 863
既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。一个应用如何与OpenAI的API进行交互，通过发送函数定义，接收参数，调用函数，再将结果与其他信息结合生成最终的回答，并返回给用户。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？
AI大模型：Function Calling连接外部世界 - 入门与实战
star_nwe的博客
07-19 971
以Python内置的sum函数为例，假设我们想让大模型使用这个函数。这里我们需要定义自己的本地函数，不再使用Python的库函数了。下面的代码，我们定义了两个函数。get_location_coordinate用于查询某个地点的地理坐标。search_nearby_pois用于查询地理坐标附近的某些信息（取决于用户输入的Keyword）def get_location_coordinate(location, city="北京"):print(url)print(url)ans = ""
【AI大模型应用开发】 Function Calling连接外部世界 - 【实战】查询数据库(2)
2301_81888214的博客
05-02 1096
上篇文章我们学习了Function Calling的基本用法，本文我们更近一步，学习下怎样利用Function Calling将大模型与数据库打通。
大模型学习笔记三：Function Calling
谢白羽
02-22 5542
官方文档：https://www.xfyun.cn/doc/spark/Web.html#_2-function-call%E8%AF%B4%E6%98%8E。1、只有 gpt-3.5-turbo-1106 和 gpt-4-1106-preview 可用本次课介绍的方法。2、gpt-3.5-turbo 是 gpt-3.5-turbo-1106 的别名。3、gpt-4 和 gpt-4-1106-preview 是两个不同的模型。3、延迟非常高（至少两次GPT-4生成，和一次Web API调用）
人工智能_大模型026_Function Calling_01_接口_CUI/LUI自然语言界面_BCI脑机界面_大模型链接真是世界_接触真逻辑_对概率逻辑进行补充---人工智能工作笔记0162
添柴程序猿的专栏
04-09 372
这个问题就是prompt,这个问题给到大模型以后,大模型会根据自己对语言的理解,和对我们提供的接口或者函数的理解,生成这个函数需要的参数,openAi,然后openAi会分析出,我们的function函数,需要什么参数,并且把参数分析出来,给我们的应用,然后我们的应用拿到。函数参数以后,然后去调用函数,然后再把函数调用以后的结果,给openAi,openAi再去用自己理解,结合结果,把答案用自然语言。参数哪些,是否是必填的之类的,都有,主要是把这个函数,怎么用,能做什么描述清楚.
2024-01-03-AI 大模型全栈工程师- Function Calling & Plugins
weixin_36532747的博客
02-01 166
2024-01-03 周三 杭州 晴小记: 2024 AI 完全应用，基于5年工作经验成为 AI 大模型全栈工程师。思考:a. 自然语言连接系统的认知，面向未来，思考系统间的集成；b. 掌握 OpenAI Plugin 的基本原理和市场表现，对行业格局产生一些认知;c. 掌握 OpenAI Function Calling 的基本用法;小记: 通用人工智能时代已经来临，蠢货才会继续写 API 接口呢？这些事情应该由 AI 自动完成。
智谱AI ChatGLM-4使用教程：函数调用Function calling（赠送免费500w token）
Cachel Wood的博客
06-30 850
北京智谱华章科技有限公司（简称“智谱AI”）致力于打造新一代认知智能大模型，专注于做大模型的中国创新。公司合作研发了中英双语千亿级超大规模预训练模型GLM-130B，并基于此推出对话模型ChatGLM，开源单卡版模型ChatGLM-6B。同时，团队还打造了AIGC模型及产品矩阵，包括AI提效助手智谱清言、高效率代码模型CodeGeeX、多模态理解模型CogVLM和文生图模型CogView等。公司践行的市场理念，推出大模型MaaS开放平台（），打造高效率、通用化的“模型即服务”AI开发新范式。
从第一性原理看大模型Agent技术
安静的软件工程师
01-14 1166
从第一性原理看大模型Agent技术
产品经理内容分享(二)：AI产品经理的入门路线图
m0_64752471的博客
10-07 1301
😝有需要的小伙伴，可以保存图片到wx扫描二v码关注免费领取【保证100%免费】🆓。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1459
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2431
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
线性判别器LDA
最新发布
qq_52421831的博客
10-10 1012
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
【开源开放体系总结】
m0_53291740的博客
10-06 938
书生・浦语大模型全链路开源开放体系的出现，为人工智能领域的发展带来了新的活力和机遇。它涵盖了从模型研发到应用部署的全流程，旨在促进技术的共享与创新，推动人工智能技术在各个领域的广泛应用。本文将对该体系进行详细总结，探讨其各个组成部分的特点、优势以及对人工智能发展的意义。
langchain和function calling
01-25
LangChain是OpenAI提出的一种搜索代理方法，用于解决问题的复杂性和信息不完整性。...通过LangChain和Function calling的结合使用，可以提高GPT模型的问题解决能力，使其能够处理更加复杂和具体的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值