NLP NLU NLG 简介

NLP NLU NLG 简介

NLP

1.含义：机器语言和人类语言之间进行沟通的“翻译官”，目的是为了实现人机交流。
2.组成：

3.典型应用：

NLU

1.含义：计算机能够理解自然语言文本的意义

2.难点：

（1）语言的多样性：语言组成没有规律，组合方式多样灵活

（2）语言的歧义性：一词多义

（3）语言中的噪声：存在多字、少字、错字、噪音等问题

（4）语言的知识依赖：依赖于先天经验和知识

（5）语言的上下⽂：不同上下文，语义各不同

3.层次结构：

（1）语音分析：要根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出音节及其对应的词素或词。

（2）词法分析：找出词汇的各个词素，从中获得语言学的信息。

（3）句法分析：对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系以及各自在句中的作用。

（4）语义分析：找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。

（5）语用分析：研究语言所存在的外界环境对语言使用者所产生的影响。

4.技术发展历程：

（1）基于规则的方法 ：通过总结规律来判断自然语言的意图，常⻅的⽅法有：CFG、JSGF等。

l 上下文无关文法（CFG）：验证字符串是否符合某个规则文法G