NLP NLU NLG 简介
NLP
1.含义:机器语言和人类语言之间进行沟通的“翻译官”,目的是为了实现人机交流。
2.组成:
3.典型应用:
NLU
1.含义:计算机能够理解自然语言文本的意义
2.难点:
(1)语言的多样性:语言组成没有规律,组合方式多样灵活
(2)语言的歧义性:一词多义
(3)语言中的噪声:存在多字、少字、错字、噪音等问题
(4)语言的知识依赖:依赖于先天经验和知识
(5)语言的上下⽂:不同上下文,语义各不同
3.层次结构:
(1)语音分析:要根据音位规则,从语音流中区分出一个个独立的音素,再根据音位形态规则找出音节及其对应的词素或词。
(2)词法分析:找出词汇的各个词素,从中获得语言学的信息。
(3)句法分析:对句子和短语的结构进行分析,目的是要找出词、短语等的相互关系以及各自在句中的作用。
(4)语义分析:找出词义、结构意义及其结合意义,从而确定语言所表达的真正含义或概念。
(5)语用分析:研究语言所存在的外界环境对语言使用者所产生的影响。
4.技术发展历程:
(1)基于规则的方法 :通过总结规律来判断自然语言的意图,常⻅的⽅法有:CFG、JSGF等。
l 上下文无关文法(CFG):验证字符串是否符合某个规则文法G