数据挖掘与分析课程笔记（Chapter 15）

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

文章目录

0. 数据挖掘与分析课程笔记（目录）
1. 数据挖掘与分析课程笔记（Chapter 1）
2. 数据挖掘与分析课程笔记（Chapter 2）
3. 数据挖掘与分析课程笔记（Chapter 5）
4. 数据挖掘与分析课程笔记（Chapter 7）
5. 数据挖掘与分析课程笔记（Chapter 14）
6. 数据挖掘与分析课程笔记（Chapter 15）
7. 数据挖掘与分析课程笔记（Chapter 20）
8. 数据挖掘与分析课程笔记（Chapter 21）

---

---

Chapter 15：基于密度的聚类

适用数据类型：非凸，又称非凸聚类；K-means 适用于凸数据

15.1 DBSCAN 算法

• 定义记号： ∀ x ∈ R d , N ϵ ( x ) : = { y ∈ R d ∣ δ ( x − y ) ≤ ϵ } \forall \mathbf{x}\in \mathbb{R}^d,N_{\epsilon}(\mathbf{x}):=\{\mathbf{y}\in \mathbb{R}^d|\delta(\mathbf{x}-\mathbf{y})\le\epsilon \} ∀x∈Rd,Nϵ​(x):={y∈Rd∣δ(x−y)≤ϵ}，其中 $\delta (\mathbf{x}-\mathbf{y})=||\mathbf{x}-\mathbf{y}||$ 欧式距离，其他距离也可。$\mathbf{D}\subseteq {\mathbb{R}}^d$

Def.1 设 $minpts\in {\mathbb{N}}_{+}$ 是用户定义的局部密度，如果 $|N_{ϵ}(\mathbf{x})\cap \mathbf{D}|\ge minpts$ ，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 核心点；如果 $|N_{ϵ}(\mathbf{x})\cap \mathbf{D}|<minpts$ ，且 $\mathbf{x}\in N_{ϵ}(\mathbf{z})$ ，其中 $\mathbf{z}$ 是 $\mathbf{D}$ 的核心点，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 的边缘点；如果 $\mathbf{x}$ 既不是核心点又不是边缘点，则称 $\mathbf{x}$ 是 $\mathbf{D}$ 的噪点。

Def.2 如果 $\mathbf{x}\in N_{ϵ}(\mathbf{y})$ 且 $\mathbf{y}$ 是核心点，则称 $\mathbf{x}$ 到 $\mathbf{y}$ 是直接密度可达的。如果存在点列 ${\mathbf{x}}_0,{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_l$，使得 ${\mathbf{x}}_0=\mathbf{x},{\mathbf{x}}_l=\mathbf{y}$，且 ${\mathbf{x}}_i$ 到 ${\mathbf{x}}_{i-1}$ 是直接密度可达，则称 $\mathbf{x}$ 到 $\mathbf{y}$ 是密度可达。

Def.3 如果存在 $\mathbf{z}\in \mathbf{D}$，使得 $\mathbf{x}$ 和 $\mathbf{y}$ 到 $\mathbf{z}$ 都是密度可达的，称 $\mathbf{x}$ 和 $\mathbf{y}$ 是密度连通的。

Def.4 基于密度的聚类是指基数最大的密度连通集（即集合内任意两点都是密度连通）。

算法15.1 ： DBSCAN ($O(n^2)$)

输入： $\mathbf{D},ϵ,minpts$

输出：$\mathcal{C},Core,Border,Noise$

1. $Core\leftarrow \varnothing$

2. 对每一个 ${\mathbf{x}}_i\in \mathbf{D}$

   2.1 计算 $N_{ϵ}({\mathbf{x}}_i)(\subseteq \mathbf{D})$

   2.2 $id({\mathbf{x}}_i)\leftarrow \varnothing$

   2.3 如果 $N_{ϵ}({\mathbf{x}}_i)\ge minpts$，则 C o r e ← C o r e ∪ { x i } Core\leftarrow Core \cup \{ \mathbf{x}_i\} Core←Core∪{xi​}

3. $k\leftarrow 0$

4. 对每一个 ${\mathbf{x}}_i\in Core,s.t.id({\mathbf{x}}_i)=\varnothing$，执行

   4.1 $k\leftarrow k+1$

   4.2 $id({\mathbf{x}}_i)\leftarrow k$

   4.3 $DensityConnected({\mathbf{x}}_i,k)$

5. C ← { C i } i = 1 k \mathcal{C}\leftarrow \{ C_i\}_{i=1}^k C←{Ci​}i=1k​，其中 C i ← { x i ∈ D ∣ i d ( x i ) = i } C_i\leftarrow \{\mathbf{x}_i \in \mathbf{D} |id(\mathbf{x}_i)=i\} Ci​←{xi​∈D∣id(xi​)=i}

6. N o i s e ← { x i ∈ D ∣ i d ( x i ) = ∅ } Noise \leftarrow \{\mathbf{x}_i \in \mathbf{D} |id(\mathbf{x}_i)=\emptyset\} Noise←{xi​∈D∣id(xi​)=∅}

7. B o r d e r ← D ∖ { C o r e ∪ N o i s e } Border\leftarrow \mathbf{D}\setminus \{Core\cup Noise \} Border←D∖{Core∪Noise}

8. return $\mathcal{C},Core,Border,Noise$

$DensityConnected({\mathbf{x}}_i,k)$：

1. 对于每一个 $\mathbf{y}\in N_{ϵ}(\mathbf{x})\setminus \mathbf{x}$

   1.1 $id(\mathbf{y})\leftarrow k$

   1.2 如果 $\mathbf{y}\in Core$，则 $DensityConnected(\mathbf{y},k)$

Remark：DBSCAN 对 $\epsilon$ 敏感：$\epsilon$ 过小，稀疏的类可能被认作噪点；$\epsilon$ 过大，稠密的类可能无法区分。

15.2 密度估计函数（DEF）

$\forall \mathbf{z}\in {\mathbb{R}}^d$，定义 $K(\mathbf{z})=\frac{1}{(2\pi {)}^{d/2}}{e}^{-\frac{{\mathbf{z}}^T\mathbf{z}}{2}}$，$\forall \mathbf{x}\in {\mathbb{R}}^d,\hat{f}(\mathbf{x}):=\frac{1}{n{h}^d}\sum _{i=1}^{n}K(\frac{\mathbf{x}-{\mathbf{x}}_i}{h})$

其中 $h>0$ 是用户指定的步长， { x 1 , ⋯   , x n } \{\mathbf{x}_1,\cdots,\mathbf{x}_n\} {x1​,⋯,xn​} 是给定的数据集

15.3 DENCLUE

Def.1 称 ${\mathbf{x}}^{\ast }\in {\mathbb{R}}^d$ 是密度吸引子，如果它决定概率密度函数 $f$ 的一个局部最大值。（PDF一般未知）

称 ${\mathbf{x}}^{\ast }\in {\mathbb{R}}^d$ 是 $\mathbf{x}\in {\mathbb{R}}^d$ 的密度吸引子，如果存在 ${\mathbf{x}}_0,{\mathbf{x}}_1,\dots ,{\mathbf{x}}_m$，使得 ${\mathbf{x}}_0=\mathbf{x},||{\mathbf{x}}_m-{\mathbf{x}}^{\ast }||\le ϵ$，且 ${\mathbf{x}}_{t+1}={\mathbf{x}}_t+\delta \cdot \nabla \hat{f}({\mathbf{x}}_t)(1)$

其中 $ϵ,\delta >0$ 是用户定义的误差及步长，$\hat{f}$ 是DEF。

• 更高效的迭代公式：

动机：当 $\mathbf{x}$ 靠近 ${\mathbf{x}}^{\ast }$ 时，迭代公式（1）迭代效率低 $\nabla \hat{f}({\mathbf{x}}^{\ast })=0$

而 $\nabla \hat{f}(\mathbf{x})=\frac{\partial }{\partial \mathbf{x}}\hat{f}(\mathbf{x})=\frac{1}{n{h}^d}\sum _{i=1}^n\frac{\partial }{\partial \mathbf{x}}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)$

$\begin{array}{rl}\frac{\partial }{\partial \mathbf{x}}K(\mathbf{z})& =\left(\frac{1}{(2\pi {)}^{d/2}}\exp \left\{-\frac{{\mathbf{z}}^T\mathbf{z}}{2}\right\}\right)\cdot -\mathbf{z}\cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}}\\ & =K(\mathbf{z})\cdot -\mathbf{z}\cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}}\end{array}$

将 $\mathbf{z}=\frac{\mathbf{x}-{\mathbf{x}}_i}{h}$ 代入得：$\frac{\partial }{\partial \mathbf{x}}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)=K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)\cdot \left(\frac{{\mathbf{x}}_i-\mathbf{x}}{h}\right)\cdot \left(\frac{1}{h}\right)$

故有：$\nabla \hat{f}(\mathbf{x})=\frac{1}{n{h}^{d+2}}\sum _{i=1}^{n}K\left(\frac{\mathbf{x}-{\mathbf{x}}_i}{h}\right)\cdot \left({\mathbf{x}}_i-\mathbf{x}\right)$

则：$\frac{1}{n{h}^{d+2}}\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)\cdot \left({\mathbf{x}}_i-{\mathbf{x}}^{\ast }\right)=0$

故有：${\mathbf{x}}^{\ast }=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}^{\ast }-{\mathbf{x}}_i}{h}\right)}(2)$

由（1）：${\mathbf{x}}_{t+1}-{\mathbf{x}}_t=\delta \cdot \nabla \hat{f}({\mathbf{x}}_t)$，（靠近 ${\mathbf{x}}^{\ast }$ 时）近似有：${\mathbf{x}}_{t+1}-{\mathbf{x}}_t\approx 0$

且：${\mathbf{x}}_t=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

故：${\mathbf{x}}_{t+1}=\frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

Def.2 称 $C\subseteq \mathbf{D}$ 是基于密度的类，如果存在密度吸引子 ${\mathbf{x}}_1^{\ast },\dots ,{\mathbf{x}}_m^{\ast }$ $s.t:$

1. $\forall \mathbf{x}\in C$ 都有某个 ${\mathbf{x}}_i^{\ast }$ 使得， ${\mathbf{x}}_i^{\ast }$ 是 $\mathbf{x}$ 的密度吸引子；
2. $\forall i,\hat{f}({\mathbf{x}}_i^{\ast })\ge \xi$，其中 $\xi$ 是用户指定的极小密度阈值；
3. $\forall {\mathbf{x}}_i^{\ast },{\mathbf{x}}_j^{\ast }$ 都密度可达，即存在路径从 ${\mathbf{x}}_i^{\ast }$ 到 ${\mathbf{x}}_j^{\ast }$ 使得路径上所有点 $\mathbf{y}$ 都有 $\hat{f}(\mathbf{y})\ge \xi$。

算法15.2 ： DENCLUE 算法

输入：$\mathbf{D},h,\xi ,ϵ$

输出：$\mathcal{C}$ （基于密度的聚类）

1. $\mathcal{A}\leftarrow \varnothing$

2. 对每一个 $\mathbf{x}\in \mathbf{D}$:

   2.1 ${\mathbf{x}}^{\ast }\leftarrow FINDATTRACTOR(\mathbf{x},\mathbf{D},h,\xi ,ϵ)$

   2.2 $R({\mathbf{x}}^{\ast })\leftarrow \varnothing$

   2.3 if $\hat{f}({\mathbf{x}}^{\ast })\ge \xi$ then:

   2.4 A ← A ∪ { x ∗ } \mathcal{A}\leftarrow \mathcal{A}\cup\{ \mathbf{x}^*\} A←A∪{x∗}

   2.5 R ( x ∗ ) ← R ( x ∗ ) ∪ { x ∗ } R(\mathbf{x}^*)\leftarrow R(\mathbf{x}^*)\cup\{ \mathbf{x}^* \} R(x∗)←R(x∗)∪{x∗}

3. C ← { maximal  C ⊆ A ∣ ∀ x i ∗ , x j ∗ ∈ C , 满足 D e f   2 条件 3 } \mathcal{C}\leftarrow\{\text{maximal}\ C \subseteq \mathcal{A}| \forall\mathbf{x}^*_i,\mathbf{x}^*_j \in C, 满足 Def \ 2 条件3 \} C←{maximal C⊆A∣∀xi∗​,xj∗​∈C,满足Def 2条件3}

4. $\forall C\in \mathcal{C}:$

   4.1 对每一个 ${\mathbf{x}}^{\ast }\in C$，令 $C\leftarrow C\cup R({\mathbf{x}}^{\ast })$

5. Return $\mathcal{C}$

$FINDATTRACTOR(\mathbf{x},\mathbf{D},h,\xi ,ϵ)$:

1. $t\leftarrow 0$

2. ${\mathbf{x}}_t=\mathbf{x}$

3. Repeat:

   ${\mathbf{x}}_{t+1}\leftarrow \frac{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)\cdot {\mathbf{x}}_i}{\sum _{i=1}^{n}K\left(\frac{{\mathbf{x}}_t-{\mathbf{x}}_i}{h}\right)}$

   $t\leftarrow t+1$

4. Until $||{\mathbf{x}}_t-{\mathbf{x}}_{t-1}||<ϵ$

---