- 自然语言处理包括自然语言理解(NLU)和自然语言生成(NLG)。
自然语言理解是将文本语言转化成计算机可以表示并理解的信息。
自然语言生成是将计算机的语言理解成人类所熟悉的自然语言。 - 问答系统的发展历程可以分为三个阶段
a)基于符号规则的第一代:系统基于规则产生回复,不涉及学习
b)基于数据统计的第二代:问答为开放领域,产生了浅层学习
c)基于深度学习的第三代:用更深层的学习来获取更深层次的语义特征 - 非任务型问答系统的分类
类别 | 优点 | 缺点 |
---|---|---|
基于检索式 | 通俗易懂、易于理解 | 依赖事先定义的数据库和检索算法 |
基于生成式 seq2seq、transformer | 不依赖事前定义好的数据库、灵活 | 容易生成无意义的回复和回答 |
两者结合 | 为主流方向 |
- 问答系统的历史
a)基于模板的专家系统
b)基于检索式的问答系统
c)面向社区的问答系统的核心还是浅层的关键词匹配技术
d)面向知识图谱(knowledge graph)的问答系统