【AI知识点】共现矩阵（Co-occurrence Matrix）

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

---

共现矩阵（Co-occurrence Matrix）是一种在自然语言处理中广泛使用的数学工具，用于表示词语在文本中相互出现的情况。它通常用于分析词语在文本中的共现关系，即哪些词语在同一上下文中经常一起出现。共现矩阵是生成词嵌入（Word Embedding）的一种重要方法，例如在GloVe模型中，它通过捕捉词语的共现信息来学习词语的语义表示。

1. 共现矩阵的定义

共现矩阵是一个词与词的矩阵，其行和列都代表词汇表中的词。矩阵中的每个元素表示在某个上下文窗口内，两个词在文本中一起出现的次数或概率。

形式化表示：

设 $V$ 是词汇表，$|V|$ 是词汇表的大小。共现矩阵是一个 $|V|\times |V|$ 的矩阵 $M$，其中矩阵的每个元素 $M(i,j)$ 表示词 $i$ 和词 $j$ 在同一上下文窗口中共现的次数或概率。

• 行：表示目标词。
• 列：表示上下文中的词。
• 值：表示目标词和上下文词在特定窗口内共现的次数或共现的权重。

---

2. 共现矩阵的构建

要构建共现矩阵，首先需要定义一个上下文窗口，即我们关注的词语周围多少个词作为上下文。常见的窗口大小可以是2到10个词，这意味着我们只考虑目标词前后最多几个词的共现关系。

构建步骤：

1. 选择上下文窗口：选择一个上下文窗口的大小，例如5个词，这意味着对于每个目标词，考虑它前面和后面各5个词作为上下文。

2. 扫描文本：逐个扫描文档中的词，对于每个词 $w$