【自然语言处理】概论（二）：分而治之的自然语言理解

  自然语言处理需要“理解”高度复杂和多样化的自然语言，即从语言输入中提取有意义的信息并理解其含义。

无处不在的歧义（Ambiguity）

  歧义是自然语言处理中最为常见和棘手的问题之一，指的是同一个语言形式可能有多种解释。歧义可以从多个层面展现：

自然语言三维分割法

• 语法维：分析句子的语法结构，包括词法分析、句法分析，识别词和短语的功能。
• 语义维：分析句子的意义，包括词汇的具体意义和句子整体的语义。s
• 语用维：分析语言的使用环境，包括语境、语气和对话意图等。

  通过将复杂的自然语言处理任务分解为较小的、更易管理的子任务（词法分析、句法分析、语义分析和语用分析），可以更有效地处理和理解语言。每个子任务可以独立开发和优化，允许研究者专注于特定领域的挑战，从而提高整个系统的性能和准确性。

一、词法分析

  词法分析任务是自然语言处理的基础，它们帮助计算机理解和处理自然语言数据的结构和含义。

1、汉语分词（Chinese Word Segmentation）

• 目的：中文分词是将连续的中文文本断开成词语的过程。由于中文文本不像英文那样有明显的空格分隔每个词，分词是理解中文文本的第一步。
• 过程：通过分析语句的上下文和可能的词语组合来识别和分割出单个词语。例如：“南京市/长江/大桥”与“南京/市长/江大桥”。

  分词是信息检索、文本分析和许多其他自然语言处理任务的前提条件。

点击【自然语言处理】概论（二）：分而治之的自然语言理解 - 古月居 (guyuehome.com)可查看全文