![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
语音助手
文章平均质量分 85
Turned_MZ
用AI让生活更美好
展开
-
写在最后——如何做好一个语音助手
语音助手系列文章到这里就要结束了,也正式要和语音助手say goodbye了,从2018年到2021年,经历了这个项目的从0到1,经历了日活从几千到千万,这一篇就来聊一聊作为一个nlu开发,对于如何做好一个语音助手产品的一点心得。好吧,这个文章其实是为了凑个吉利数,凑满18篇~这里再一起看下整个语音助手的文章脉络,它从技术的角度大致讲解了一个语音助手需要具备的模块和能力。如下图:除了上面的模块之外,笔者还想说,想要做好一个语音助手,或者说想要做好一款产品,其实还需...原创 2022-04-10 22:46:56 · 3776 阅读 · 0 评论 -
语音助手——问答型助手架构和设计
这一章我们来看一下问答型助手中的架构和设计,什么是问答型助手呢?就是主要指知识问答型,用来回复用户的问题,而不是用来操作设备,比如智能客服。问答型助手类型问答型助手一般有IRQA、KBQA(又叫KGQA)、MRCQA。IRQA:即基于检索的问答,即在问答库中检索用户问题进行回复,这要求存在和用户问题匹配的FQA对,FQA对可以是人工生成或者经过人工审核过的。适用于能够被FQA中Q匹配的问题,优点是回答的覆盖率较高(在FQA对比较全的情况下),即使对于FQA库中不包...原创 2022-04-03 22:18:33 · 4275 阅读 · 0 评论 -
语音助手——QU——语义角色标注及其应用
这一章我们来讲一下语义角色标注(Semantic Role Labeling (SRL))以及其在语音助手中的应用,主要分为4部分:什么是语义角色标注、为什么需要语义角色标注、如何实现、语音助手中的应用1、什么是语义角色标注语义角色标注(Semantic Role Labeling (SRL))也叫语块分析(query chunking),是一种浅层语义分析技术。给定一个句子, SRL 的任务是找出句子中谓词的相应语义角色成分,包括核心语义角色(如施事者、受事者等) 和附属语义角色(...原创 2022-02-27 20:21:31 · 4766 阅读 · 0 评论 -
语音助手——基于语义相似度的泛化语义识别
在前面的章节中,我们讲到了,对于一个垂域BOT的识别,会有分类模型、意图槽位模型来识别其对应的语义,但是这个一般是针对已经成熟的(即积累了一定数据的)场景才可以做的,对于以下的三种场景,这种做法就不适用了:场景冷启动,即一个新的场景,线上并没有对应场景的话术,一般对于冷启动问题我们都会采用模板匹配的方式,但是其泛化能力有限,如何提高其泛化能力呢? 垂域BOT未识别的话术,即前面章节《潜在技能与未召回话术挖掘》中提到的未召回话术,这部分话术我们会将其补充到已有的场景分类、意图槽位模型中,...原创 2022-02-19 21:15:58 · 3090 阅读 · 3 评论 -
语音助手——潜在技能与未召回话术挖掘
这一节主要总结一下语音助手中对于潜在技能与未召回话术挖掘相关的内容,主要分为以下几点:1、为什么要做潜在技能的挖掘;2、如何挖掘。为什么要做潜在技能的挖掘随着语音助手日活的逐渐增多,用户需求的场景也逐渐增多,产品在定义场景时,除了基于用户群体分析以及竞品分析外,也可以基于大数据挖掘的方式来快速发现用户需求最多的场景。这也叫做热门话题挖掘,比如通过日志分析,可以发现用户在春节期间对于购买火车票的需求突然增多,此时可以快速响应搭建对应的场景能力。除此之...原创 2022-02-04 21:56:04 · 2800 阅读 · 0 评论 -
语音助手——指令型(任务型)助手架构和设计
这一章我们来一起看一下语音助手中,指令型(任务型)助手的整体架构和设计。一、指令型助手的应用场景 在这里,如果助手的作用是帮助用户实现某些操作,比如:语音定闹钟,语音听歌,语音导航等等,那么实现这一类任务的助手我们叫做指令型语音助手,即用户通过语音来下发某些指令,助手根据指令进行操作,从而实现解放双手,快捷操作的目的,比如下面的几个例子: 二、指令型助手架构和设计 我们在前面章节《语音助手整体架构和设计》中有讲到,指令型助手...原创 2021-10-27 23:03:38 · 2623 阅读 · 0 评论 -
语音助手——未来趋势
这一章我们来一起探讨一下语音助手的未来发展趋势和规划,未来的语音助手应该是什么样子的呢?下面是我个人的一些思考。1、场景的趋势:语音助手由于其使用特性,需要和机器面对面说话,这对于一些人来说其实是比较难接受的,尤其是在人多的地方,人们会感觉尴尬,所以我们很少在一些公共区域看到人们使用这些语音助手,比如银行大堂、购物商场等,当然,这也是由于语音助手的目前技术限制,效果还没有达到和真人沟通一样的效果。相对的,在一些私密性比较强的场景中,语音助手的优势就会变得很明显,比如居...原创 2021-10-26 21:49:39 · 1660 阅读 · 1 评论 -
语音助手——垂类永动机——自动化迭代框架
这一章我们一起来看一下语音助手中的自动化迭代框架,这里的自动化迭代是任务型语义的自动化迭代。一、为什么需要自动化迭代框架 首先,为什么需要自动化迭代框架呢?随着业务的发展,产品需求越来越多,语音助手中覆盖的技能也越来越多,大概有40+垂类,为了能够给用户带来更好的体验(提高日活和留存),需要对这些垂类有一个效果的评估机制,因此,我们建立了满意度评判系统:随机抽取线上日志,进行人工check,评判nlu结果是否正确,当垂类、意图、槽位、结果均正确时,则认为该条话术nlu结...原创 2021-10-24 23:59:10 · 2164 阅读 · 5 评论 -
语音助手——QU——单实体召回那些事
这一章我们一起来看一下语音助手中单实体召回的那些事,主要从以下三个方面介绍:1、什么是单实体召回?2、哪些场景下会涉及单实体召回?3、整体框架和策略?什么是单实体召回 单实体召回,顾名思义,即单个实体的召回策略,单个实体比如:应用名、歌名、电视剧名、时间、地点、人物等等,前面章节中讲到的命名实体识别(NER)就是用来识别单实体的。那么当用户在没有上下文的情况下,说了一个单实体,此时助手该如何执行呢?全部都走闲聊或者百科吗?有没有可能通过适当的单实体召回策略提高任务型场景...原创 2021-10-17 22:42:43 · 1473 阅读 · 0 评论 -
语音助手——QU——NER与意图槽位模型
这一章,我们一起来看一下语音助手中用到的NER与意图槽位模型,分为以下几部分:1、什么是NER?2、什么是意图槽位模型?可以有哪些设计形式?3、常用的NER与意图槽位模型有哪些?一、什么是NER NER叫做命名实体识别,即提取一句话中的实体,实体可以为时间、地点、人物、音乐名、电视剧名等,比如下面的例子:今天天气不错, 其中包含的实体为:时间:“今天”。 NER模型的本质是一个序列标注任务,即将一段文本中的每个字都打上对应的标签,一般使用的标签为:B(...原创 2021-10-10 23:09:56 · 2525 阅读 · 0 评论 -
语音助手——多轮会话(流程实现篇)
这一章,我们一起来看一下语音助手中的多轮会话的主要流程。这里主要讲的是开放域中的语义顺承和省略补全的实现。省略补全是指当前query不结合上文时没有明显意图,但是结合上文就可以获取到意图,而语义顺承则是本轮有意图,但是部分槽位缺失,此时结合上文就可以获取到有用的槽位信息。来看下下面的流程图: 下面对一些模块进行解释:1、用户意图识别 该模块为了识别用户意图,为正常流程中的模块,当存在意图时,则具备语义顺承的潜质,当不存在意图时,则具备省略补全的潜...原创 2021-09-25 22:44:41 · 3446 阅读 · 4 评论 -
语音助手——多轮会话(理论概念篇)
这一章我们一起来看一下语音助手中多轮对话的实现方案。在目前的语音助手的多轮实现方案中,基本分为两大部分:rule_base(基于规则)和 model_base(基于模型),从线上效果可控和快速开发的角度来看,大多数的多轮会话仍然是rule_base的,一般分为:基于有限状态自动机,或者基于对话剧本,此时可以在整个流程中的部分模块中利用model起到提高准召的效果,至于纯粹的model_base的多轮,目前还都是在学术界,在工业界中落地的很少。基本概念:1、封闭域的多轮会话 ...原创 2021-09-23 23:10:11 · 2643 阅读 · 0 评论 -
语音助手——助手中用到的那些分类模型
这一章,我们来一起看一下语音助手中用到的那些分类模型。首先,什么地方需要用到分类模型呢?有以下几种情况:场景分类 任务、闲聊、问答分类 BOT内部分类这一类分类主要起的作用为:辅助DM进行BOT的分发和排序 避免全量query流经某个BOT,减轻下游服务压力 各个BOT应该有具备识别query是否属于自己领域的能力除此之外,还有一些地方也会用到分类模型,比如:情感识别,意图识别等。这里主要讲一下助手中用到的几个主要分类模型的组成关系,如下图:有同学...原创 2021-09-22 22:50:12 · 2232 阅读 · 6 评论 -
语音助手——DM——分发和排序
这一章我们来讲一下语音助手中的DM(对话管理),之前讲过,DM的主要功能为多轮会话以及技能的分发和排序,这里先来讲一下技能的分发和排序。为什么要做分发和排序: 为什么要做技能的分发和排序呢,这和语义的识别有关,很多同学可能会这么认为:“用户的会话都是有意图的,所以一句话就应该有一个确定的语义,只要场景分类和意图识别做的好,不应该涉及到技能的分发和排序”。这么想其实也没错,但是有一点需要注意,这个条件成立的前提有四个:1、用户所说的话被ASR准确翻译过来,没有误收音或...原创 2021-09-12 22:45:30 · 2585 阅读 · 4 评论 -
语音助手——QU——query纠错与改写
这一章,我们来一起看一下语音助手的QU层中用到的query纠错和改写。为什么要做纠错:由于语音助手中绝大多数的query来源均为语音对话,ASR模块的结果就会由于误收音、少收音、或者识别的字错误导致输入给NLU层的query是错误的。错误的query会直接影响下游服务的识别,导致最终执行结果错误,影响用户体验。比如:(错误)打开和平静音 ->(正确) 打开和平精英。 (错误)第一个7点的闹钟->(正确)定一个7点的闹钟。 (错误)定一个7 点的孬种...原创 2021-09-10 21:54:00 · 1496 阅读 · 2 评论 -
语音助手——整体架构和设计
这一章我们一起来看一下语音助手的整体架构和设计。一般来讲,一个比较完善的语音助手可以分为:中控部分 + BOT部分,对于一个BOT而言,其实质是一个可以独立运行的服务,包含自己的中控,其内部自成一个小周天,而中控的存在则是处理一些对于各个BOT而言公共的处理,以及各个BOT的分发、排序等功能。如下图:其中蓝色部分,即为各个BOT,针对系统类型不同,BOT内部的设计也各不相同,比较典型的三个BOT:闲聊BOT、任务BOT、问答BOT,至于各个BOT内...原创 2021-09-08 22:44:29 · 6004 阅读 · 1 评论 -
语音助手——评测指标
一个语音助手包含很多模块和环节,比如ASR、NLU、TTS、客户端等,那么如何评估一个语音助手以及其各个模块的效果呢?有没有可以量化的指标?1、产品指标:用户会话量:指每日用户对话次数。 用户量:指每日用户量。 次日留存:指次日仍然使用助手的用户相对于前一天的占比。 第7日留存:以n为基准,则第n+7天仍然使用助手的用户占比。 次周留存:以n为基准,n+7不算,从n+7到n+14内仍然使用语音助手的用户占比。上述指标,是从不同的角度来对整个产品进行评估,...原创 2021-09-05 22:00:14 · 3960 阅读 · 0 评论 -
语音助手——简介与交互过程
语音助手简介语音助手这个产品的目的,是希望通过语音说话的方式,来实现闲聊陪伴、知识获取、设备控制等需求,对应的就有三种不同的助手类型:闲聊型、问答型、指令型。闲聊型助手用于实现闲聊陪伴的目的,通过AI的技术来与用户进行对话,感知用户情绪,比如微软小冰。问答型助手用于知识获取,通过对话的方式来获取知识,或者解决疑问,比较常见的应用则是各个平台的智能客服,比如京东、淘宝等都有对应的产品。指令型助手用于设备控制,通过对话的方式来控制智...原创 2021-09-02 23:22:34 · 5547 阅读 · 3 评论