四种常用聚类及代码（三）：birch（一种层次聚类）

BIRCH，Balanced Iterative Reducing and Clustering Using Hierarchies，翻译过来就是“利用层次方法的平衡迭代规约和聚类“，全称非常复杂。

1、birch概述

简单来说，BIRCH 算法利用了一个树结构来帮助我们快速的聚类，这个特殊的树结构，就是我们后面要详细介绍的聚类特征树（CF-tree）。
可以说只要构造好了CF-树，BIRCH算法也就完成了。BIRCH算法比较适合于数据量大，类别数K也比较多的情况。它运行速度很快，只需要单遍扫描数据集就能进行聚类
该算法笼统的说，可以分为两步：
（1）扫描数据库，建立一棵存放于内存的 CF-Tree，它可以被看作数据的多层压缩，试图保留数据的内在聚类结构；
（2）采用某个选定的聚类算法，如 K-means或者凝聚算法，对CF树的叶节点进行聚类，把稀疏的簇当作离群点删除，而把更稠密的簇合并为更大的簇。

2、概念准备

BIRCH算法利用了一个树结构来帮助我们快速的聚类，这个数结构类似于平衡B+树，一般将它称之为聚类特征树(Clustering Feature Tree，简称CF Tree)。这颗树的每一个节点是由若干个聚类特征(Clustering Feature，简称CF)组成。从下图我们可以看看聚类特征树是什么样子的：每个节点包括叶子节点都有若干个CF，而内部节点的CF有指向孩子节点的指针，所有的叶子节点用一个双向链表链接起来。

2.1、 CF-Tree

CF-tree，Clustering Feature Tree，聚类特征树。

2.1.1、CF 聚类特征

CF聚类特征用一个三元组概括描述各簇的信息，每一个 CF 都可以用（N，LS，SS）表示。

假设某簇中有 N 个 D 维数据点
矢量 $\overrightarrow{LS}$ 是个各点的线性求和，公式如下：

$$\sum \vec{l}=\sum _{n=1}^N\overrightarrow{x_n}={(\sum _{n=1}^N{x}_{n1},\sum _{n=1}^N{x}_{n2},...,\sum _{n=1}^N{x}_{nD})}^T$$
标量 SS 是各数据点的平方和，公式如下：

$$\sum s=\sum _{n=1}^N{\overrightarrow{x_n}}^2=\sum _{n=1}^N{\overrightarrow{x_n}}^T\overrightarrow{x_n}=\sum _{n=1}^N\sum _{i=1}^D{x_{ni}}^2$$

可加性：
对于两个不相交的簇 C₁ 和 C₂ ,
聚类特征分别为 CF₁ = <N₁, LS₁, SS₁> 和 CF₂ = <N₂, LS₂, SS₂> ,
如果将这两个簇合并成一个大簇，则大簇的聚类特征为：
CF₁ + CF₂ = <N₁+N₂, LS₁+LS₂, SS₁+SS₂>

2.1.2、CF的三个统计量

簇质心：
$$\overrightarrow{X_0}=\frac{}{N}$$