南瓜书公式详解----第九章 (聚类，高斯混合聚类）

• 聚类评价

式9-1 交并比（Jaccard系数）

$$\mathrm{JC}=\frac{a}{a+b+c}$$
这个公式是杰卡德相似系数（Jaccard Similarity Coefficient，简称 JC）的表达式，这是一种用于度量两个集合相似度的统计量。下面是对这个公式的详细解释：

1. 杰卡德相似系数 $\mathrm{JC}$：

   • 这是一个介于 0 到 1 之间的值，用于衡量两个集合的相似度。值越接近 1，表示两个集合越相似；值越接近 0，表示两个集合越不相似。

2. 集合的交集大小 $a$：

   • $a$ 是两个集合 $A$ 和 $B$ 的交集的大小，即 $A\cap B$ 中元素的数量。

3. 集合的并集大小 $a+b+c$：

   • 这里 $b$ 是集合 $A$ 中但不在 $B$ 中的元素数量，$c$ 是集合 $B$ 中但不在 $A$ 中的元素数量。并集大小 $a+b+c$ 表示两个集合中所有不重复元素的总数。

4. 公式的含义：

   • 公式 $\mathrm{JC}=\frac{a}{a+b+c}$ 表示两个集合的交集大小与它们并集大小的比例。这个比例越高，表示两个集合的相似度越高。

5. 应用场景：

   • 杰卡德相似系数在多个领域都有应用，包括文本分析、生物多样性研究、计算机视觉等。它特别适用于度量集合的相似度，尤其是在集合元素是二元（存在或不存在）的情况下。

6. 计算示例：

   • 假设集合 A = { 1 , 2 , 3 } A = \{1, 2, 3\} A={1,2,3} 和集合 B = { 2 , 3 , 4 } B = \{2, 3, 4\} B={2,3,4}，它们的交集 A ∩ B = { 2 , 3 } A \cap B = \{2, 3\} A∩B={2,3}，交集大小 $a=2$。集合 $A$ 和 $B$ 的并集 A ∪ B = { 1 , 2 , 3 , 4 } A \cup B = \{1, 2, 3, 4\} A∪B={1,2,3,4}，不重复元素总数 $a+b+c=4$。因此，杰卡德相似系数 $\mathrm{JC}=\frac{2}{4}=0.5$。

杰卡德相似系数提供了一种简单而有效的方法来衡量两个集合的相似性。

9.6 (F指数）

$$\mathrm{FMI}=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
公式是F指数（Fowlkes-Mallows Index，简称FMI）的表达式，这是一种用于度量两个集合相似度的统计量，特别适用于聚类分析。下面是对这个公式的详细解释：

1. F指数 $\mathrm{FMI}$：

   • 表示为 $\mathrm{FMI}$，是一个介于 0 和 1 之间的值，用于衡量两个集合 $A$ 和 $B$ 的相似度。

2. 交集元素数量 $a$：

   • $a$ 是集合 $A$ 和 $B$ 的交集的大小，即 $A\cap B$ 中元素的数量。

3. 集合 $A$ 的独有元素数量 $b$：

   • $b$ 是集合 $A$ 中但不在 $B$ 中的元素数量。

4. 集合 $B$ 的独有元素数量 $c$：

   • $c$ 是集合 $B$ 中但不在 $A$ 中的元素数量。

5. 公式的含义：

   • 公式 $\mathrm{FMI}=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$ 表示两个集合的交集与各自独有元素数量的比值的几何平均。这个比值越高，表示两个集合的相似度越高。

6. 应用场景：

   • F指数常用于聚类分析中，用于评估聚类结果的质量。它考虑了集合的交集大小以及各自独有元素的数量，因此能够更全面地反映集合的相似度。

7. 计算示例：

   • 假设集合 A = { 1 , 2 , 3 } A = \{1, 2, 3\} A={1,2,3} 和集合 B = { 2 , 3 , 4 } B = \{2, 3, 4\} B={2,3,4}，它们的交集 A ∩ B = { 2 , 3 } A \cap B = \{2, 3\} A∩B={2,3}，交集大小 $a=2$。集合 $A$ 的独有元素数量 $b=1$（元素 1），集合 $B$ 的独有元素数量 $c=1$（元素 4）。因此，F指数 $\mathrm{FMI}=\sqrt{\frac{2}{2+1}\cdot \frac{2}{2+1}}=\sqrt{\frac{2}{3}\cdot \frac{2}{3}}=\sqrt{\frac{4}{9}}=\frac{2}{3}\approx 0.67$。

F指数提供了一种考虑集合交集和独有元素数量的方法来衡量集合的相似性，特别适用于需要平衡考虑集合内部相似度和外部差异度的情况。

9.7 (雷文斯坦指数）

$$\mathrm{RI}=\frac{2(a+d)}{m(m-1)}$$
公式是雷文斯坦指数（Ravenstein’s Index），也称为雷文斯坦同源指数（Ravenstein’s Index of Consanguinity），这是一种用于度量两个分类或分组相似度的统计量。它通常用于生态学、地理学和人口统计学等领域，尤其是在分析不同地区或时间点的人口迁移模式时。下面是对这个公式的详细解释：

1. 雷文斯坦指数 $\mathrm{RI}$：

   • 表示为 $\mathrm{RI}$，是一个用于衡量两个分类或分组相似度的指标。

2. 共同元素数量 $a$：

   • $a$ 是两个分类或分组共有的元素数量。

3. 不同元素数量 $d$：

   • $d$ 是两个分类或分组中不共有的元素数量。

4. 总元素数量 $m$：

   • $m$ 是两个分类或分组中所有元素的总数。

5. 公式的含义：

   • 公式 $\mathrm{RI}=\frac{2(a+d)}{m(m-1)}$ 表示两个分类或分组的相似度，通过计算共有和不同元素的数量与总元素数量的比值来衡量。

6. 应用场景：

   • 雷文斯坦指数常用于比较不同时间点或地区的人口迁移模式，以评估人口结构的变化。

7. 计算示例：

   • 假设两个地区在第一次调查时共有 $a=100$ 个相同的人口特征，在第二次调查时共有 $d=50$ 个不同的人口特征。如果两次调查的总人数为 $m=300$，则 $\mathrm{RI}=\frac{2(100+50)}{300(300-1)}=\frac{300}{89900}\approx 0.0033$。

雷文斯坦指数提供了一种衡量分类或分组相似度的方法，它考虑了共有和不同元素的数量，从而能够反映两个分类或分组的整体相似性。

9.8 簇内距离定义

$$\mathrm{avg}(C)=\frac{2}{|C|(|C|-1)}\sum _{1⩽i<j⩽|C|}\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$$
公式是计算集合 $C$ 中所有点对之间距离的平均值的公式，这是一种在数据集中衡量点的分布情况的常用方法。下面是对这个公式的详细解释：

1. 平均距离 $\mathrm{avg}(C)$：

   • 表示为 $\mathrm{avg}(C)$，是集合 $C$ 中所有点对之间距离的平均值。

2. 集合 $C$ 的大小 $|C|$：

   • $|C|$ 是集合 $C$ 中元素（点）的总数。

3. 点对 ${\mathbf{x}}_i$ 和 ${\mathbf{x}}_j$：

   • 表示集合 $C$ 中任意两个不同的点。

4. 距离函数 $\mathrm{dist}({\mathbf{x}}_i,{\mathbf{x}}_j)$：

   • 表示计算两个点 ${\mathbf{x}}_i$ 和 ${\mathbf{x}}_j$ 之间的距离。这可以是欧几里得距离、曼哈顿距离或其他任何定义的距离度量。

5. 求和符号 $\sum$：

   • 表示对所有可能的点对 $({\mathbf{x}}_i,{\mathbf{x}}_j)$ 进行求和。由于 $i<j$，这避免了重复计算点对。

6. 公式的含义：

   • 公式 $\mathrm{avg}(C)=\frac{2}{|C|(|C|-1)}{\sum }_{1⩽i<j⩽|C|}\mathrm{dist}({\mathbf{x}}_i,{\mathbf{x}}_j)$ 表示集合 $C$ 中所有不重复点对之间的距离总和，除以可能的点对数量（$|C|(|C|-1)/2$），从而得到平均距离。

7. 应用场景：

   • 这种平均距离的计算方法常用于评估数据点的分布密度或聚类分析中的簇内紧密度。

8. 计算示例：

   • 假设集合 $C$ 包含 3 个点 ${\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3$，如果它们之间的距离分别是 $d({\mathbf{x}}_1,{\mathbf{x}}_2)=5$，$d({\mathbf{x}}_1,{\mathbf{x}}_3)=7$ 和 $d({\mathbf{x}}_2,{\mathbf{x}}_3)=6$，则平均距离 $\mathrm{avg}(C)$ 为：
     $$\mathrm{avg}(C)=\frac{2}{3\times (3-1)}(5+7+6)=\frac{2}{6}\times 18=\frac{36}{6}=6$$

这个公式提供了一种衡量集合中点的相对分布情况的方法，特别适用于需要分析点的集聚或分散程度的场景。

• 高斯混合聚类处理方法-1 EM算法

9.33 (E步）

$$\sum _{j=1}^m\frac{{\alpha }_i\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i\right)}{{\sum }_{l=1}^k{\alpha }_l\cdot p\left({\mathbf{x}}_j|{\mathbf{\mu }}_l,{\mathbf{\Sigma }}_l\right)}\left({\mathbf{x}}_j-{\mathbf{\mu }}_i\right)=0$$
公式是高斯混合模型（Gaussian Mixture Model, GMM）中的一种期望最大化（Expectation-Maximization, EM）算法的更新公式。这个公式用于在EM算法的E步骤中计算每个数据点 ${\mathbf{x}}_j$ 对每个高斯成分 $i$ 的权重（或责任）。下面是对这个公式的详细解释：

1. 求和符号 ${\sum }_{j=1}^m$：

   • 表示对所有数据点 ${\mathbf{x}}_j$ 进行求和，其中 $m$ 是数据点的总数。

2. 权重 ${\alpha }_i$：

   • ${\alpha }_i$ 是第 $i$ 个高斯成分的权重，它表示该成分在整个混合模型中的相对重要性。

3. 条件概率密度 $p({\mathbf{x}}_j|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$：

   • 这是给定均值 ${\mathbf{\mu }}_i$ 和协方差矩阵 ${\mathbf{\Sigma }}_i$ 的第 $i$ 个高斯分布下，数据点 ${\mathbf{x}}_j$ 的条件概率密度。

4. 归一化因子：

   • 分母 ${\sum }_{l=1}^k{\alpha }_l\cdot p({\mathbf{x}}_j|{\mathbf{\mu }}_l,{\mathbf{\Sigma }}_l)$ 是一个归一化因子，确保所有成分对数据点 ${\mathbf{x}}_j$ 的权重之和为 1。

5. 数据点与均值的差 ${\mathbf{x}}_j-{\mathbf{\mu }}_i$：

   • 表示数据点 ${\mathbf{x}}_j$ 与第 $i$ 个高斯成分的均值 ${\mathbf{\mu }}_i$ 之间的差异。

6. 公式的含义：

   • 这个公式实际上是在计算每个数据点对每个高斯成分的“责任”，即该成分对数据点的拟合程度。在EM算法中，这个值用于更新高斯成分的参数（均值、协方差和权重）。

7. 更新条件：

   • 公式等于 0 表示找到了最优解，即数据点 ${\mathbf{x}}_j$ 在所有高斯成分上的责任加权平均等于数据点本身。这是EM算法中求解高斯混合模型参数的一个条件。

8. 应用场景：

   • 这个公式是高斯混合模型中EM算法的一部分，用于聚类分析、概率建模和模式识别等领域。

9. 计算示例：

   • 假设我们有一个数据集，包含若干个数据点，以及一个由多个高斯成分组成的混合模型。我们可以通过这个公式计算每个数据点对每个高斯成分的责任，然后使用这些责任来更新高斯成分的参数。

这个公式是高斯混合模型参数估计的关键步骤之一，通过迭代优化来提高模型对数据的拟合度。

9.34 (M步，计算$\mu$)

$${\mu }_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{j=1}^m{\gamma }_{ji}}$$

公式是高斯混合模型（Gaussian Mixture Model, GMM）中计算每个高斯成分的均值 ${\mu }_i$ 的公式。这个公式通常在EM算法的M步骤中使用，用于更新每个高斯成分的参数。下面是对这个公式的详细解释：

1. 均值 ${\mu }_i$：

   • 表示第 $i$ 个高斯成分的均值向量。

2. 数据点 ${\mathbf{x}}_j$：

   • 表示数据集中的第 $j$ 个数据点。

3. 权重 ${\gamma }_{ji}$：

   • 表示第 $j$ 个数据点属于第 $i$ 个高斯成分的权重，也称为责任（responsibility）。这些权重在EM算法的E步骤中计算得出。

4. 求和符号 ${\sum }_{j=1}^m$：

   • 表示对所有数据点 ${\mathbf{x}}_j$ 进行求和，其中 $m$ 是数据点的总数。

5. 公式的含义：

   • 公式 ${\mu }_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}{\mathbf{x}}_j}{{\sum }_{j=1}^m{\gamma }_{ji}}$ 表示第 $i$ 个高斯成分的均值是通过所有数据点乘以其对应权重的和，除以权重的和来计算的。

6. 应用场景：

   • 这个公式用于高斯混合模型的参数更新，特别是在聚类分析、概率建模和模式识别等领域。

7. 计算示例：

   • 假设我们有一个包含3个数据点的数据集，并且我们正在更新第1个高斯成分的均值。如果我们有权重 ${\gamma }_{1i},{\gamma }_{2i},{\gamma }_{3i}$ 对应于这3个数据点，那么均值 ${\mu }_i$ 的计算将是：
     $${\mu }_i=\frac{{\gamma }_{1i}{\mathbf{x}}_1+{\gamma }_{2i}{\mathbf{x}}_2+{\gamma }_{3i}{\mathbf{x}}_3}{{\gamma }_{1i}+{\gamma }_{2i}+{\gamma }_{3i}}$$

8. 更新条件：

   • 这个公式确保了均值 ${\mu }_i$ 是根据数据点对每个高斯成分的“责任”加权平均得到的。

这个公式是高斯混合模型中参数估计的关键步骤之一，通过迭代优化来提高模型对数据的拟合度。

9.35 (M步，计算$\sigma$)

$${\mathbf{\Sigma }}_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^T}{{\sum }_{j=1}^m{\gamma }_{ji}}$$
公式是高斯混合模型（Gaussian Mixture Model, GMM）中计算每个高斯成分的协方差矩阵 ${\mathbf{\Sigma }}_i$ 的公式。这个公式通常在EM算法的M步骤中使用，用于更新每个高斯成分的协方差矩阵。下面是对这个公式的详细解释：

1. 协方差矩阵 ${\mathbf{\Sigma }}_i$：

   • 表示第 $i$ 个高斯成分的协方差矩阵，它描述了该成分中数据点的分布情况。

2. 数据点 ${\mathbf{x}}_j$：

   • 表示数据集中的第 $j$ 个数据点。

3. 均值 ${\mathbf{\mu }}_i$：

   • 表示第 $i$ 个高斯成分的均值向量。

4. 权重 ${\gamma }_{ji}$：

   • 表示第 $j$ 个数据点属于第 $i$ 个高斯成分的权重，也称为责任（responsibility）。这些权重在EM算法的E步骤中计算得出。

5. 求和符号 ${\sum }_{j=1}^m$：

   • 表示对所有数据点 ${\mathbf{x}}_j$ 进行求和，其中 $m$ 是数据点的总数。

6. 公式的含义：

   • 公式 ${\mathbf{\Sigma }}_i=\frac{{\sum }_{j=1}^m{\gamma }_{ji}({\mathbf{x}}_j-{\mathbf{\mu }}_i)({\mathbf{x}}_j-{\mathbf{\mu }}_i{)}^T}{{\sum }_{j=1}^m{\gamma }_{ji}}$ 表示第 $i$ 个高斯成分的协方差矩阵是通过所有数据点与该成分均值的差值的加权和，除以权重的和来计算的。

7. 应用场景：

   • 这个公式用于高斯混合模型的参数更新，特别是在聚类分析、概率建模和模式识别等领域。

8. 计算示例：

   • 假设我们有一个包含3个数据点的数据集，并且我们正在更新第1个高斯成分的协方差矩阵。如果我们有权重 ${\gamma }_{1i},{\gamma }_{2i},{\gamma }_{3i}$ 对应于这3个数据点，那么协方差矩阵 ${\mathbf{\Sigma }}_i$ 的计算将是：
     $${\mathbf{\Sigma }}_i=\frac{{\gamma }_{1i}({\mathbf{x}}_1-{\mathbf{\mu }}_i)({\mathbf{x}}_1-{\mathbf{\mu }}_i{)}^T+{\gamma }_{2i}({\mathbf{x}}_2-{\mathbf{\mu }}_i)({\mathbf{x}}_2-{\mathbf{\mu }}_i{)}^T+{\gamma }_{3i}({\mathbf{x}}_3-{\mathbf{\mu }}_i)({\mathbf{x}}_3-{\mathbf{\mu }}_i{)}^T}{{\gamma }_{1i}+{\gamma }_{2i}+{\gamma }_{3i}}$$

9. 更新条件：

   • 这个公式确保了协方差矩阵 ${\mathbf{\Sigma }}_i$ 是根据数据点对每个高斯成分的“责任”加权平均得到的。

这个公式是高斯混合模型中参数估计的关键步骤之一，通过迭代优化来提高模型对数据的拟合度。

9.38 (权重计算）

$${\alpha }_i=\frac{1}{m}\sum _{j=1}^m{\gamma }_{ji}$$
公式是用于计算高斯混合模型（Gaussian Mixture Model, GMM）中每个高斯成分的权重 ${\alpha }_i$ 的公式。这个权重代表了第 $i$ 个高斯分布在整个混合模型中所占的比例。以下是对这个公式的详细解释：

1. 权重 ${\alpha }_i$：

   • 表示第 $i$ 个高斯成分的权重，其值介于 0 和 1 之间，并且所有权重的总和为 1。

2. 数据点数量 $m$：

   • 表示数据集中数据点的总数。

3. 权重 ${\gamma }_{ji}$：

   • 表示第 $j$ 个数据点属于第 $i$ 个高斯成分的权重，也称为责任（responsibility）。这些权重在EM算法的E步骤中计算得出。

4. 求和符号 ${\sum }_{j=1}^m$：

   • 表示对所有数据点 ${\mathbf{x}}_j$ 进行求和。

5. 公式的含义：

   • 公式 ${\alpha }_i=\frac{1}{m}{\sum }_{j=1}^m{\gamma }_{ji}$ 表示第 $i$ 个高斯成分的权重是所有数据点对该成分的责任的加权平均值，除以数据点的总数 (m)。

6. 应用场景：

   • 这个公式用于高斯混合模型的参数更新，特别是在聚类分析、概率建模和模式识别等领域。

7. 计算示例：

   • 假设我们有一个包含3个数据点的数据集，并且我们正在计算第1个高斯成分的权重。如果我们有权重 ${\gamma }_{1i},{\gamma }_{2i},{\gamma }_{3i}$ 对应于这3个数据点，那么权重 ${\alpha }_i$ 的计算将是：
     $${\alpha }_i=\frac{1}{3}({\gamma }_{1i}+{\gamma }_{2i}+{\gamma }_{3i})$$

8. 更新条件：

   • 这个公式确保了每个高斯成分的权重 ${\alpha }_i$ 是根据数据点对该成分的“责任”来计算的，并且所有权重的总和为 1。

这个公式是高斯混合模型中参数估计的关键步骤之一，通过迭代优化来提高模型对数据的拟合度。