自然语言处理在开放搜索中的应用

自然语言智能（NLP）

自然语言智能研究实现人与计算机之间用语言进行有效通信。它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。它涉及到自然语言和形式化语言的分析、抽取、理解、转换和产生等多个课题。

人工智能可以分为几个阶段

• 计算智能，指依靠计算强大的算力和海量数据的存储能力，可以在部分领域超越人类的表现。代表例子就是谷歌的alphago，凭借谷歌TPU的强大算力以及结合类似蒙特卡洛树搜索、强化学习等算法，能够在围棋的巨大搜索空间中计算出好的决策路径，战胜人类，这是计算智能
• 感知智能，是指从无结构化数据中识别出重要的要素。比如给一个query，分析出包含的人名、地名、机构名等；
• 认知智能，是在感知之上，能够理解其中要素的含义以及进行一些推理。比如“谢霆锋是谁的儿子 谁是谢霆锋的儿子”两句话。词和实体都差不多，但语义差别很多。这是认知智能要解决的问题；
• 创造智能，比如计算机指能够理解语义的基础上，创造出符合常识、语义、逻辑的句子。比如自动写出行云流水的小说、创造娓娓动听的音乐 能够无违和跟人自然聊天等
  自然语言处理研究覆盖了感知智能，认知智能，创造智能这样的学科，是实现完整人工智能的必要技术

自然语言智能发展趋势

1. 深度语言模型突破式发展, 引领重要自然语言技术取得进展；
2. 公有云NLP技术服务从通用功能走向定制化服务；
3. 自然语言技术逐步与行业/场景紧密结合, 产生更大价值；

阿里集团NLP平台能力