问题:
什么是聚类算法,其难点在哪
有哪些是聚类算法,其处理过程是什么,优劣势有哪些
评估聚类算法的方法
聚类算法,是无监督学习,也就是无标签(label),是把相似的数据划分在一起
聚类算法的普遍难点在于:如何选择合适的参数(调参),怎样评估聚类效果是好的(评估)
聚类算法中比较常用的有K-means 和DBSCAN
K-means : 以质心为中心,聚类成K个簇
需要设定的参数:K值
质心——对该簇所有点所有特征取均值
怎么找到点形成簇呢——距离度量:欧式距离或者(先标准化)余弦相似度(使用欧式距离的比较多)
K-means 就是找到离某个质心更近的那些点形成一个簇
那么我们希望的情况就是,聚完类后,每个点都能离所属簇的质心距离最近(相比于其他簇的质心)
因此我们可以得到我们的优化目标,就是使该簇的所有点到该簇的质心的距离之和尽量小,那么不断优化,直到质心不再变时,总距离也就不变,此时我们得到最后的聚类。
那么如何优化我们的质心呢?(也就是K-means的聚类过程)
首先,因为一开始没有质心可以确定,那么K个质心就会随机取(最后要分为K个簇),
那么质心就有初始化了,也就可以开始计算和比较各个点和各个质心之间的距离了,每个点找到离自己距离最近的质心,
那么第一