大模型和任务型对话系统如何结合

基于大模型如何做任务型对话/对话管理

论文1：使用function calling的方法基于LLM做DST

论文：https://arxiv.org/abs/2402.10466

在这篇论文中，作者提出了一种新颖的方法，将对话状态跟踪（Dialogue State Tracking, DST）视为函数调用（Function Calling），以实现大型语言模型（LLMs）在零样本（zero-shot）情况下的DST。这种方法的核心思想是将每个任务导向对话（TOD）领域的模式视为一个特定的函数，而该领域的槽值（slot values）则作为该函数的参数。下面是这种方法的实现步骤：

1. 函数定义：首先，作者将每个对话领域的模式定义为一个独特的函数（例如，酒店预订、餐厅查询等）。这些函数的描述和所需参数（即槽值）被转换成函数规格说明。
2. 系统提示（System Prompt）：在LLM的系统提示中嵌入这些函数规格说明。系统提示是一个对话格式的一部分，它定义了助手（assistant）的角色、责任和预期行为。
3. 函数调用过程：在对话过程中，模型被引导生成函数调用，这包括确定要调用的函数名称（即领域）以及为该函数生成相应的参数（即槽值）。这个过程分为两个阶段：
   • 函数/领域选择：模型首先从支持的函数列表中选择一个函数。
   • 参数/信念状态生成：然后，模型为选定的函数生成相应的参数。
4. 上下文提示（In-context Prompting）：为了确保模型能够正确生成函数调用的格式，作者在系统提示中包含了上下文示例对话。这些示例对话展示了如何在对话中正确地调用函数。
5. 模型微调（Model Fine-tuning）：为了使开源模型具备函数调用能力，作者对一个13B参数的LLaMA2-Chat模型进行了微调，使用了来自不同TOD数据集的7,200个对话样本。这些样本覆盖了36个不同的领域，但故意排除了目标测试数据集。微调过程中，模型的损失计算仅关注助手生成中的函数调用部分。
6. 实验结果：通过这种方法，即使是中等规模的开源模型也能在零样本情况下实现与先进ChatGPT模型相当的性能。此外，通过微调，作者还展示了如何使模型在保持聊天能力的同时，具备与ChatGPT相当的函数调用DST性能。

这种方法的关键在于将DST任务与助手的输出无缝集成，使得LLMs能够在执行聊天任务的同时，有效地跟踪和更新对话状态。通过这种方式，LLMs能够在没有特定领域数据的情况下，适应并执行多种任务导向对话。

论文2：使用大模型做DST的生成

• 论文链接 https://arxiv.org/abs/2304.06556
• 讲解链接： https://hub.baai.ac.cn/view/32378

本文和上文区别：本文没对大模型微调，直接用prompt实现目的。使用的prompt如下：

最终生成响应的prompt

论文3：diagGPT https://arxiv.org/pdf/2308.08043

本文介绍了一种名为DiagGPT的多智能体AI系统，具有自动话题管理能力，可增强其在任务导向对话场景中的实用性。DiagGPT具有以下特点：自动话题管理、任务导向对话、多智能体系统。该系统旨在引导用户完成特定目标并在对话过程中协助他们完成任务。它具有主动提问的能力，可以自动管理话题并有效地参与围绕当前话题的讨论。

DiagGPT的工作流程包括四个阶段：

1）分析用户查询，预测当前对话的主题

2）维护主题堆栈。将主题对话存储入栈

3）根据对话做检索来丰富内容

4）生成回复。根据主题的引导提示，结合检索到的丰富的内容，来生成回复。

总结

三种方法

都是基于prompt

1.prompt中定义大量可分类的domain标签，每种标签含有的样例。走对话系统nlu常规步骤，domain分类，意图分类，slot提取等。

缺点：需要很复杂的prompt，写的未必完善。需要多次调用llm

2.prompt中定义每种query下可以调用的functioncall。

3.也是基于prompt，可以管理对话主题，实现更丰富的话题流转。面向某个具体领域，没有细分的domain类别。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

四、LLM面试题

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~