机器学习----聚类总结

一、聚类分类

$~~~~~~~~~~~~~~~~~$

具体分类
1，K-means（K-means and its variants）
2，凝聚层次聚类（Hierarchical clustering）
3，DBSCAN（Density-based clustering）

二、k-means

2.1、基本算法

具体详见K均值算法

2.2、 算法流程

$~~~~~~~~$输入：聚类个数k，以及包含 n个数据对象的数据库。 输出：满足方差最小标准的k个聚类。
$~~~~~~~~$（1）从n个数据对象任意选择k个对象作为初始聚类中心
$~~~~~~~~$（2）计算每个对象与聚类中心的距离；并根据最小距离重新对相应对象进行划分
$~~~~~~~~$（3）重新计算每个聚类的均值作为新的聚类中心
$~~~~~~~~$（4）循环（2）到（3）直到每个聚类不再发生变化为止

2.3、算法分析

K-Means的优化目标可以表示为：

$~~~~~~~~$其中，x_n表示数据对象，μ_k表示中心点，r_nk在数据点n分配到类别k的时候为1，没有分配到类别k的时候为0。

$~~~~~~~~$整个算法通过迭代计算，找到合适的r_nk和μ_k来，使得J最小。
$~~~~~~~~$算法流程的第二步，固定μ_k，更新r_nk，将每个数据对象放到与其最近的聚类中心的类别中，自然这一步能够保证在固定μ_k的情况下，J的值降到了最小。

$~~~~~~~~$算法流程的第三步，固定r_nk，更新μ_k，此时J对μ_k（实际上是μ_0,μ_1,…分别求导）求导并令结果等于零，得到：

$~~~~~~~~$即，当新的中心点取每个类别中的中心值的时候，每个类别内部的标准距离下降最多。J是所有类别距离内部的距离之和，因此保证了的固定r_nk的情况下，J的值降到了最小。
$~~~~~~~~$两个步骤，J的值都在下降，随着迭代次数增加J的值会下降到一个极小值。

2.4、结束条件

K-Means迭代的条件可以有如下几个：
$~~~~~~~~$· 每个聚类内部元素不在变化，这是最理想的情况了。
$~~~~~~~~$· 前后两次迭代，J的值相差小于某个阈值。
$~~~~~~~~$· 迭代超过一定的次数。

2.5、散度

2.6、时间和空间复杂度

2.7、常见问题

有空簇：数据大的时候，若对其他簇都远，找一个替补质心，让整个数据的SSE最小;
$~~~~~~~~~$在数据抽样的时候，不要删，因为可能在没有抽到的数据有空簇这一类的；
$~~~~~~~~~$若数据量少的话，将他添加到最近的簇。
离群点：数据量大，删掉，在有意义的话就保留
降低SSE：分裂一个簇，拆散一个簇
增量更新质心：寻找更好的最优解。

2.8、SAE和SAE

SAE（Sum of Absolute Error)即绝对误差和

SSE（Sum of Squared Error)即差值的平方和

三、层次聚类

这里主要讲的是凝聚层次聚类

3.1、分类

3.2、计算步骤

3.3、lance-williams

3.4、层次聚类问题

1，缺乏全局目标函数
2，处理不同大小簇的能力
3，合并簇后不撤销

四、密度聚类（DBSCAN）

定义：
$~~~~~~~$基于密度寻找被低密度区域分离的高密度区域，DBSCAN是一种简单、有效的基于密度的聚类算法，他解释了基于密度的聚类方法的许多重要概念。

4.2、解释

4.2、算法步骤

模型

重点内容

4.3、DBSCAN优缺点

DBSCAN的主要优点有：
$~~~~~~$1） 可以对任意形状的稠密数据集进行聚类，相对的，K-Means之类的聚类算法一般只适用于凸数据集。
$~~~~~~$2） 可以在聚类的同时发现异常点，对数据集中的异常点不敏感。
$~~~~~~$3） 聚类结果没有偏倚，相对的，K-Means之类的聚类算法初始值对聚类结果有很大影响。

DBSCAN的主要缺点：
$~~~~~~$1）如果样本集的密度不均匀、聚类间距差相差很大时，聚类质量较差，这时用DBSCAN聚类一般不适合。
$~~~~~~$2） 如果样本集较大时，聚类收敛时间较长，此时可以对搜索最近邻时建立的KD树或者球树进行规模限制来改进。
$~~~~~~$3） 调参相对于传统的K-Means之类的聚类算法稍复杂，主要需要对距离阈值，邻域样本数阈值MinPts联合调参，不同的参数组合对最后的聚类效果有较大影响。

4.4、变密度的簇

4.5、簇评估分类

4.5.1、图方法

4.5.2、凝聚度和分离度

4.5.3、邻近度矩阵

看图说话更易懂