自然语言处理（四）

词义

这次的讲座着重于理解词义、歧义和变异，包括词汇语义学的基本概念和相关技术。以下是对课件内容的详细梳理：

1. **词汇语义学（Lexical Semantics）**： 
   - 探讨了词义（word meaning）的重要性，特别是在自然语言工程（NLE）应用中。
   - 讨论了使用字典来指定词义或相似性。

2. **词义（Word Senses）**：
   - 强调了词汇的多义性，即一个词可以有多个意义。
   - 举例说明了如“counter”一词的多个意义。

3. **字典和机器可读字典**：
   - 字典的作用是列举语言中所有词的不同含义。
   - 介绍了在线字典和API，如 WordNet 和牛津英语词典。

4. **单词的不同含义**：
   - 讨论了不同字典对单词含义数量的不同看法，如“plant”和“book”。

5. **同形异义词（Homonyms）**：
   - 说明了同一词形可能对应不同概念的情况，如“plant”。

6. **同形异音词（Homographs）和同音异形词（Homophones）**：
   - 介绍了不同发音但同一书写形式的词，以及相同发音但不同书写形式的词。

7. **多义性（Polysemy）和单义性（Monosemous）**：
   - 讨论了一个词有多种相关意义的情况，以及具有单一意义的词。

8. **WordNet**：
   - 介绍了WordNet，一个基于同义词和下位词/上位词关系组织的词汇网络。

9. **语义关系（Semantic Relationships）**：
   - 解释了同义词（synonymy）、反义词（antonymy）和下位词/上位词（hyponymy/hypernymy）之间的关系。

10. **语义相似性（Semantic Similarity）**：
    - 基于WordNet的层级结构探讨了概念之间的语义相似性，包括路径长度和信息内容。

11. **评估语义相似性度量**：
    - 讨论了如何评估语义相似性度量，包括与人类同义词判断的相关性。

这节课程深入探讨了词义的复杂性和在自然语言处理中的应用，特别是如何理解和处理语义上的多样性和歧义。

 

这节课程中介绍了一些关于词义理解和评估的重要概念和方法。以下是这些概念的概述：

1. **多义性（Polysemy）**：
   - 指的是一个词具有多种相关的含义。例如，"book" 可以指“一本书”或“预订”。

2. **同形异义词（Homonyms）**：
   - 是指同一形式的词表达了完全不同的概念，例如，“plant”既可以指植物，也可以指工厂。

3. **同形异音词（Homographs）**：
   - 是指拼写相同但发音不同、意义不同的词，例如，“desert”（沙漠）和“desert”（放弃）。

4. **同音异形词（Homophones）**：
   - 是指发音相同但拼写不同的词，例如，“there”和“their”。

5. **下位词/上位词（Hyponymy/Hypernymy）**：
   - 描述了一种类别包含关系，如“dog”（狗）是“animal”（动物）的下位词，而“animal”是“dog”的上位词。

6. **语义相似性（Semantic Similarity）**：
   - 根据概念在层级结构中的位置来评估其相似性。路径长度越短，两个概念越相似。

7. **信息内容（Information Content, IC）**：
   - 基于概念在某个语料库中的出现频率，反映了一个概念的信息量。用于评估概念的相似性。

8. **WordNet**：
   - 一个基于同义词和下位词/上位词关系组织的词汇网络。WordNet中的核心单位是同义词集（synset）。

9. **WordNet中的语义关系**：
   - 包括同义词关系（synonymy）、反义词关系（antonymy）和下位词/上位词关系。

10. **评估语义相似性**：
    - 使用相关系数，如皮尔逊相关系数（Pearson's correlation coefficient）和斯皮尔曼等级相关系数（Spearman's rank correlation coefficient），来评估计算得到的语义相似性与人类判断的一致性。

这些概念和方法是理解自然语言处理中词义多样性和歧义性的基础，对于开发更精确的语言处理应用至关重要。