03 聚类算法 - K-means聚类

02 聚类算法 - 相似度距离公式、维度灾难

二、K-means聚类

给定一个有M个对象的数据集，构建一个具有k个__簇__的模型，其中__k<=M__。满足以下条件：
1、每个簇至少包含一个对象；
2、每个对象属于且仅属于一个簇；
3、将满足上述条件的k个簇成为一个合理的聚类划分；

基本思想：对于给定的类别数目k，首先给定初始划分，通过迭代改变样本和簇的隶属关系，使的每次处理后得到的划分方式比__上一次的好__(簇内数据集距离变小)

K-means算法

K-means算法，也称为K-平均或者K-均值，是一种使用广泛的最基础的聚类算法，一般作为掌握聚类算法的第一个算法。

假设输入样本为T=X1,X2,...,Xm;则算法步骤为（使用欧几里得距离公式）：
1、选择初始化的k个类别中心a1,a2,...ak。
2、对于每个样本Xi，将其标记位距离类别中心 aj 最近的类别 j 。
3、更新每个类别的中心点 aj 为隶属该类别的所有样本的均值。
4、重复上面两步操作，直到达到某个中止条件。
中止条件：
迭代次数、最小平方误差MSE、簇中心点变化率。

那么初始的分类中心设置多少个比较合适？
其实在实际算法中，K-means聚类的算法在设置初始分类数量的操作，和KNN中设置决策树的深度一样，都是机器学习调参的一部分。需要我们对业务数据有一定的敏感度，人为得设置一个初始值。在设置好初始的分类中心个数K之后，在算法中不会自动增减分类中心的个数。

比如我想根据一组数据判断消费者的消费水平，我们可以人为得设置3个分类中心，对应消费者水平的高、中、低。但最终是否能达到要求呢？是否一定能够找到一类人群是高消费群体，一类人群是低消费群体呢？我不知道。划分出来的数据可能实际上意味着人类体重分类的高、中、低。这三类代表的含义明显和我们预期不同。这也是聚类带来的一个问题，我们在对分类问题贴标签的时候要综合考虑样本的特征，人为得出一个较为合理的分类情况。

少年们要成为优秀的产品经理，数据分析时的观察力很重要啊...

---

下面看看K-means的几何意义：

a：根据数据分布我们揣摩可以将他们分成2类。
b：人为定义了红点和蓝点2个分类。
c：计算每一个点到达两个分类的距离，离谁近涂上谁的颜色。
d：把分类中心红点和蓝点，分别放到两个簇的中间。
e：再把所有样本点到两个分类中心的距离计算一下，谁近涂上谁的颜色。
f：更新分类中心，发现分类中心没有变化，意味着样本也不会再发生变化了，迭代停止。

---

记K个簇中心分别为a1,a2,...ak；每个簇的样本数量为N1,N2,...,NK;

使用平方误差作为目标函数(使用欧几里得距离)，公式为：

要获取最优解，也就是目标函数需要尽可能的小，对J函数求偏导数，可以得到簇中心点a更新的公式为：

---

K-means算法思考

思考：如果使用其它距离度量公式，簇中心点更新公式是啥?

K-means算法在迭代的过程中使用所有点的均值作为新的质点(中心点)，如果簇
中存在异常点，将导致均值偏差比较严重。

比如一个簇中有2、4、6、8、100五个数据，那么新的质点为24，显然这个质点离绝大多数点都比较远；在当前情况下，使用中位数6可能比使用均值的想法更好，使用中位数的聚类方式叫做__K-Mediods聚类__(K中值聚类)

---

K-means算法是初值敏感的，选择不同的初始值可能导致不同的簇划分规则。

为了避免这种敏感性导致的最终结果异常性，可以采用__初始化多套初始节点构造不同的分类规则__，然后选择最优的构造规则。

K-means算法的初值敏感：

---

K-means算法优缺点

缺点：
1、K值是用户给定的，在进行数据处理前，K值是未知的，不同的K值得到的结果也不一样。
2、对初始簇中心点是敏感的。
3、不适合发现非凸形状的簇或者大小差别较大的簇。

4、特殊值(离群值)对模型的影响比较大。

优点：
1、理解容易，聚类效果不错。
2、处理大数据集的时候，该算法可以保证较好的伸缩性和高效率。
3、当簇近似高斯分布的时候，效果非常不错。

04 聚类算法 - 代码案例一 - K-means聚类
05 聚类算法 - 二分K-Means、K-Means++、K-Means||、Canopy、Mini Batch K-Means算法