对话系统
文章平均质量分 91
对话系统
小爷毛毛(卓寿杰)
NLP对话问答、大模型、AIGC。
微信公众/视频号:毛毛讲书,欢迎关注进一步交流!
展开
-
【大模型AIGC系列课程 3-7】领域&私域对话数据收集与生成
我们可以将此方法类比为一种知识蒸馏的过程:具备最佳性能的超大参数通用语言模型充当老师的角色,通过生成的私域"对话历史"数据,来教导参数规模较小的私域大语言模型,让它们也能够从私域数据中受益。其中,"用户定义"是中小型企业对其用户群体的自然语言描述,"私域信息文本段落"是企业内部的文本数据承载的信息片段,"对话历史"是存储我们技术方案生成的历史对话的数据库。本方案通过利用企业内部已有的私域信息文本段落,构造对话指令并生成对话历史,从而生成可靠的对话训练数据,弥补了私域数据获取的难题。原创 2023-09-22 09:33:21 · 708 阅读 · 0 评论 -
【大模型AIGC系列课程 3-5】大模型行业案例之生物医学:“达尔文”领域大模型
达尔文大模型 指令微调(instruction tuning)训练,除了进行常规的指令(如问答、摘要等),我们基于赛业生物在多年在生物领域技术的沉淀,构造了更丰富的生物垂类领域指令进行训练。“火山方舟” 包含模型广场、模型体验、模型训练推荐以及模型应用的功能,其使命是加速大模型和大算力的应用落地,加快大模型在各行业发挥商业价值。带给大家一个好消息,“达尔文”大模型将入驻火山引擎大模型生态,上架至“火山方舟”的模型广场,补全火山引擎大模型生态的生物医疗领域,并供大家使用与反馈。原创 2023-07-09 15:26:57 · 614 阅读 · 0 评论 -
【RASA】TED Policy:Dialogue Transformers
计算嵌入之间的差异,TED Policy最大化与目标标签的相似性并最小化与错误标签的相似性,这是一种基于Starspace算法的技术。自注意力机制发挥作用的地方:transformer 在每一轮动态访问对话历史的不同部分,然后评估和重新计算前几轮的相关性。在每个对话回合,TED Policy将3部分信息作为输入:用户消息的意图和实体、预测的先前执行的Action、槽位。当需要预测下一个系统动作时,所有可能的系统动作根据它们的相似度进行排序,并选择相似度最高的动作。那这3部分是如何特征化的呢?原创 2021-12-16 18:08:58 · 650 阅读 · 0 评论 -
解读:【小爱同学】智能问答系统
上述挖掘的都是比较简单的模型。如“世界之最”的问题。首先意图判断:query是否包含世界之最支持实体类型,以及是否包含最大、最小、第一、第二等触发词。作者基于结构化词条、问答论坛的数据,来进行模板挖掘的。当问答论坛数据中,问题包含实体,答案包含属性值,就可以以此构造解析模板。模型可能对于某些类的预测比较差,而这些类在随机负采样中未能覆盖到。“圆柱体的体积怎么算”- “圆柱体的面积怎么算”增强结果,得到正样本:Q1’、Q2’找到Q2’,与Q2相似度 < 0.3。增强结果,得到负样本:Q1’、Q2’原创 2022-01-20 14:33:54 · 4325 阅读 · 0 评论 -
【PolyAI】【EMNLP 2020 Findings】ConveRT:来自 Transformer 的高效准确的会话表示
论文《ConveRT: Efficient and Accurate Conversational Representations from Transformers》地址:https://arxiv.org/abs/1911.03688作者在pretrain(Reddit 数据)+fine-tune 的方式的基础上提出了一个更轻量级的预训练回复选择模型 ConveRT,并且模型还可以引入了更多的对话历史信息。另外,模型学习的句子编码可以 transfer 到其他对话任务(eg.意图识别)。原创 2021-11-23 17:07:14 · 2152 阅读 · 0 评论 -
解读:【美团】智能客服实践
客服结束一通咨询后,需进行背景、诉求、处理结果的填写。智能的会话摘要,可以提升客服坐席工作效率,改善其办公体验。作者的方案进行了如下的演进:效果如下:我理解,在这个业务场景下,其实用抽取式摘要是不太合理的。抽取式摘要适用于新闻摘要的场景,但是对话摘要的摘要和原文的文本表达方式是大相径庭的。还有相比单纯的文本摘要,对话摘要更加合适结合半结构化模板来做。因为客服咨询对话核心要点是固定的,如:背景、诉求、处理结果等。而且,这样的摘要更适用于客服后续跟进时进行查阅。原创 2022-02-05 14:27:28 · 1868 阅读 · 0 评论 -
【RASA】DIET:Dual Intent and Entity Transformer
最近工作中使用到rasa,其nlu部分有一个rasa自己提出的DIETClassifier框架组建,可用于意图分类与实体识别。今天有空,就来研究下它~论文地址:https://github.com/RasaHQ/DIET-paper简介先总结下DIET出彩的地方:DIET是一种用于意图分类和实体识别的多任务体系结构。它能够以即插即用的方式结合语言模型的预训练单词嵌入,并将它们与单词和字符级 n-gram 稀疏特征结合起来。实验表明,即使没有预训练的嵌入,仅使用单词和字符级 n-gram 稀疏特原创 2021-11-28 10:47:25 · 1313 阅读 · 2 评论