本文作者:王小草 资深算法工程师
本文是对2019年3月出版的《自然语言处理实践-聊天机器人技术原理与应用》的全书内容提炼,若有不当之处,请联系本文作者。在此感谢本书作者王昊奋、邵浩、李方圆、张凯、宋亚楠。
阅读方法:
对聊天机器人、NLP有基础的同学,可以通过本文迅速了解当前聊天机器人或智能对话的系统知识、框架,对感兴趣的点可以自己去深入研究;
对聊天机器人、NLP没有基础但又想了解的同学,可以对照着原书进行阅读,本文是对原书的浓缩、提炼,帮助你更快得掌握核心知识,而非读过就忘。没时间读原著的话,也可以直接阅读本文进行一个概况了解。
一、聊天机器人概述
1.1 聊天机器人发展历史
阶段 | 时间 | 发明人 | 机器人 | 实现方式 |
---|---|---|---|---|
溯源与萌芽阶段(1950-1990) | 1950 | 图灵 | 提出图灵测试 | |
1966 | 麻神理工约瑟夫·魏泽鲍姆 | name:ELIZA,目的:临床模拟罗杰斯心里治疗 | 关键词匹配+人工编写回复规则 | |
1972 | 美国精神病学家肯尼思-科比尔 | name:PARRY,目的:模拟偏执型精神分裂症 | 会话策略比ELIZA更严谨 | |
1988 | 英国程序员罗洛·卡彭特 | name:Jabberwacky,目的:模拟自然的人际聊天 | 上下文模式匹配技术,没有硬编码的规则 | |
1988 | UK Berkeley罗伯特·维斯林斯 | name:UC,目的:帮助用户学习使用UNIX操作系统 | 规则+建模,提高了聊天进机器人的智能话程度 | |
1990 | 美国科学家休·勒布纳 | 设立仍只能年度比赛,测试机器聊天与思考的能力 | ||
研究兴起阶段(1990-2010) | 1995 | AI科学家理查德·华勒斯 | name:Alice,目的:聊天 | 阈值问题模板匹配(本文作者对ALICE有相关介绍:https://blog.csdn.net/sinat_33761963/article/details/79232894) |
2001 | name:SmartChild,目的:应用于短信和即时聊天工具 | |||
2006 | IBM | name:最强大脑Watson,目的:搜索只是问答 | 基于IBM“深度问答”技术的超级计算机,采用上百种算法3秒内找出特定问题的答案 | |
2010年至今 | 2010 | 苹果 | siri,目的:个人助理 | 实体驱动+NLU |
2014 | 微软 | 小冰、小娜(cortana),目的:娱乐 | 深度学习+搜索 | |
阿里 | 小蜜 | |||
京东 | JIMI | |||
网易 | 七鱼 | |||
2014 | 亚马逊 | echo,目的:智能助手 | ||
2016 | 谷歌 | Allo | 个人助理、深度学习、用户内嵌 | |
2016 | 公子小白,目的:社交 | 自我认知 | ||
2017 | 小米 | 小米音箱,目的:多种技能,智能家居 | ||
2017 | 阿里 | 天猫精灵,目的:生活购物 |
1.2 聊天机器人分类
1.2.1 基于应用场景分
场景类别 | 功能 | 当前产品 |
---|---|---|
在线客服聊天机器人系统 | 自动回复产品、服务的相关问题,降低企业客服运营成本,提升用户体验 | 京东JIMI, 阿里小米 |
基于娱乐的聊天机器人系统 | 不限主题的闲聊、用于陪伴与慰藉;也提供特定主体服务,如查天气等 | 微软小冰、微信“小微”、北京龙泉寺“贤二机器僧” |
教育场景下的聊天机器人系统 | 帮助用户学习某种语言;指导用户深入熟悉某项技能;帮助辅助学习 | UC、儿童教育机器人 |
个人助理聊天机器人系统 | 实现用户个人事务的查询代办 | siri、小米音箱、echo |
智能问答聊天机器人系统 | 回答用户以自然语言形式提出的事实型及复杂推理的问题,帮助用户获得信息于辅助决策 | waston |
1.2.2 基于实现方式分
实现方式类别 | 介绍 |
---|---|
检索式 | 回答是提前设定好的,通过规则引擎、模式匹配、机器学习模型,在知识库中挑选一个最佳的回复给用户,优点是回答自然,缺点是需要准备超大只是库 |
生成式 | 不依赖于提前定义的回答,利用大量的语料训练监督模型,使得该模型能输入用户问题,自动生成一个回复,有点是能覆盖任意领域,缺点是生成式的效果存在问题,比如句法错误,通顺度等 |
1.2.3 基于功能分
功能类别 | 功能 | 场景 | 当前产品 |
---|---|---|---|
问答系统 | 获取用户需要的知识 | 客服、知识检索 | watson |
任务型对话系统 | 完成用户的某个任务, | 如打电话,充话费、订机票、订酒店 | siri |
闲聊系统 | 陪用户闲聊 | 娱乐、情感陪伴 | 微软小冰 |
主动推荐系统 | 信息推荐 | 个性化推荐 | 今日头条 |
本文作者:前三者为当下