聚类本质上是一个无监督问题即我们手里没有标签了,还有将数据进行分类。
聚类:相似的东西分到一组
难点:如何评估,如何调参 。
下图是将一个无标签的数据集分成三类。
![0bd9fe4f643b5d08a365d529c6f0884b.png](https://i-blog.csdnimg.cn/blog_migrate/47dd0f37efc6ed952011b60e7b83823e.jpeg)
![05c70d933e2926d46fa209a2c7da0383.png](https://i-blog.csdnimg.cn/blog_migrate/9787742b1352fed3bb84281d0243ac1b.jpeg)
要得到簇的个数,需要指定K值 ,当然它需要先获得质心。质心就是所谓均值,即向量各维取平均即可
距离的度量:常用欧几里得距离和余弦相似度(先标准化)
![216af2562ed35590e61c898c9eb43721.png](https://i-blog.csdnimg.cn/blog_migrate/3f04bb746e85899601610fcd1055db25.jpeg)
![3b7c6b32a847921cdbbf16496ff5463d.png](https://i-blog.csdnimg.cn/blog_migrate/50c554c7d8f0e504a0d55916f76a1fe2.jpeg)
k-means算法得优势是简单,快速,适合常规数据集
但其劣势是:
K值难确定 ,因为一上来你不知道要将数据分成几类。
复杂度与样本呈线性关系
很难发现任意形状的簇
![8c1d1be512b30abd9ce3c0b64afae23a.png](https://i-blog.csdnimg.cn/blog_migrate/c50efac5c47b2a71f1726f03a7f3794e.jpeg)
核心对象:若某个点的密度达到算法设定的阈值则其为核心点。
(即 r 邻域内点的数量不小于 minPts)
ϵ-邻域的距离阈值:设定的半径r
下面来说几个DBSCAN算法中的几个概念。
直接密度可达:若某点p在点q的 r 邻域内,且q是核心点,则p-q直接密度可达。
密度可达:若有一个点的序列q0、 q1、 …qk,对任意qi-qi-1是直接密度可达的, 则称从q0到qk密度可达,这实际上是直接密度可达的“传播”。
密度相连:若从某核心点p出发,点q和点k都是密度可达的,则称点q和点k是密度相连的。
边界点:属于某一个类的非核心点,不能发展下线了 ,类似于传销的性质。
噪声点:不属于任何一个类簇的点,从任何一个核心点出发都是密度不可达的
![2e1698f892fc54a7b7d3495a8d02034b.png](https://i-blog.csdnimg.cn/blog_migrate/97dbd972d012a7d4a58d50aede722cc8.jpeg)
![92f8afb5ddf747c7a13f14213a454e47.png](https://i-blog.csdnimg.cn/blog_migrate/8d352e15ee5deab4bbac74656922dd86.jpeg)
半径ϵ,可以根据K距离来设定:找突变点
K距离:给定数据集P={p(i); i=0,1,…n},计算点P(i)到集合D的子集S中所有点
之间的距离, 距离按照从小到大的顺序排序, d(k)就被称为k-距离。
MinPts:k-距离中k的值,一般取的小一些,多次尝试
优势:
可以发现任意形状的簇
擅长找到离群点(检测任务)
两个参数就够了
劣势:
高维数据有些困难(可以做降维)
参数难以选择(参数对结果的影响非常大)
Sklearn中效率很慢(数据削减策略)
下面是几个通过DBSCAN算法进行聚类的结果。
![a876ff3c28259a44059577d3f55449b5.png](https://i-blog.csdnimg.cn/blog_migrate/59344c2c4e05ef9afd0a4f7fc0f84969.jpeg)
![0308cf4112077da603924e021ce5f864.png](https://i-blog.csdnimg.cn/blog_migrate/63a73156c33bcec9e30a43b164b9925d.jpeg)