一、聚类分类
具体分类
1,K-means(K-means and its variants)
2,凝聚层次聚类(Hierarchical clustering)
3,DBSCAN(Density-based clustering)
二、k-means
2.1、基本算法
具体详见K均值算法
2.2、 算法流程
输入:聚类个数k,以及包含 n个数据对象的数据库。 输出:满足方差最小标准的k个聚类。
(1)从n个数据对象任意选择k个对象作为初始聚类中心
(2)计算每个对象与聚类中心的距离;并根据最小距离重新对相应对象进行划分
(3)重新计算每个聚类的均值作为新的聚类中心
(4)循环(2)到(3)直到每个聚类不再发生变化为止
2.3、算法分析
K-Means的优化目标可以表示为:
其中,x_n表示数据对象,μ_k表示中心点,r_nk在数据点n分配到类别k的时候为1,没有分配到类别k的时候为0。
整个算法通过迭代计算,找到合适的r_nk和μ_k来,使得J最小。
算法流程的第二步,固定μ_k,更新r_nk,将每个数据对象放到与其最近的聚类中心的类别中,自然这一步能够保证在固定μ_k的情况下,J的值降到了最小。
算法流程的第三步,固定r_nk,更新μ_k,此时J对μ_k(实际上是μ_0,μ_1,…分别求导)求导并令结果等于零,得到:
即,当新的中心点取每个类别中的中心值的时候,每个类别内部的标准距离下降最多。J是所有类别距离内部的距离之和,因此保证了的固定r_nk的情况下,J的值降到了最小。
两个步骤,J的值都在下降,随着迭代次数增加J的值会下降到一个极小值。
2.4、结束条件
K-Means迭代的条件可以有如下几个:
· 每个聚类内部元素不在变化,这是最理想的情况了。
· 前后两次迭代,J的值相差小于某个阈值。
· 迭代超过一定的次数。
2.5、散度
2.6、时间和空间复杂度
2.7、常见问题
有空簇:数据大的时候,若对其他簇都远,找一个替补质心,让整个数据的SSE最小;
在数据抽样的时候,不要删,因为可能在没有抽到的数据有空簇这一类的;
若数据量少的话,将他添加到最近的簇。
离群点:数据量大,删掉,在有意义的话就保留
降低SSE:分裂一个簇,拆散一个簇
增量更新质心:寻找更好的最优解。
2.8、SAE和SAE
SAE(Sum of Absolute Error)即绝对误差和
SSE(Sum of Squared Error)即差值的平方和
三、层次聚类
这里主要讲的是凝聚层次聚类
3.1、分类
3.2、计算步骤
3.3、lance-williams
3.4、层次聚类问题
1,缺乏全局目标函数
2,处理不同大小簇的能力
3,合并簇后不撤销
四、密度聚类(DBSCAN)
定义:
基于密度寻找被低密度区域分离的高密度区域,DBSCAN是一种简单、有效的基于密度的聚类算法,他解释了基于密度
的聚类方法的许多重要概念。
4.2、解释
4.2、算法步骤
模型
重点内容
4.3、DBSCAN优缺点
DBSCAN的主要优点有:
1) 可以对任意形状的稠密数据集进行聚类,相对的,K-Means之类的聚类算法一般只适用于凸数据集。
2) 可以在聚类的同时发现异常点,对数据集中的异常点不敏感。
3) 聚类结果没有偏倚,相对的,K-Means之类的聚类算法初始值对聚类结果有很大影响。
DBSCAN的主要缺点:
1)如果样本集的密度不均匀、聚类间距差相差很大时,聚类质量较差,这时用DBSCAN聚类一般不适合。
2) 如果样本集较大时,聚类收敛时间较长,此时可以对搜索最近邻时建立的KD树或者球树进行规模限制来改进。
3) 调参相对于传统的K-Means之类的聚类算法稍复杂,主要需要对距离阈值,邻域样本数阈值MinPts联合调参,不同的参数组合对最后的聚类效果有较大影响。
4.4、变密度的簇
4.5、簇评估分类
4.5.1、图方法
4.5.2、凝聚度和分离度
4.5.3、邻近度矩阵
看图说话更易懂