本文详细介绍了k-means聚类算法的流程、代码实现及缺点，包括其依赖初始中心选择的问题。接着讨论了k-means++的改进，通过优化初始中心选择以达到全局最优解。最后，对比了k-means与k-mediods，指出k-mediods对离群点影响的抵抗力更强，但时间复杂度较高，适合小规模数据。
一. k-means
1.算法流程
给定数据样本集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={
x1,x2,...,xm},k-means欲将 D D D划分成K个簇 C = { c 1 , c 2 , . . . , c k } C=\{c_1,c_2,...,c_k\} C={
c1,c2,...,ck}并且簇之间没有交集。其目标是最小化平方误差和：
E = ∑ i = 1 k ∑ x ∈ c i ∣ ∣ x − u i ∣ ∣ 2 2 \begin{aligned} E=\sum_{i=1}^k\sum_{x\in c_i}||x-u_i||_{2}^2 \end{aligned} E=i=1∑kx∈ci∑∣∣x−ui∣∣22
其中 u i = 1 ∣ c i ∣ ∑ x ∈ c i x u_i=\cfrac{1}{|c_i|}\sum_{x\in c_i}x ui=∣ci∣1∑x∈cix是簇 c i c_i ci的均值向量（簇的形心）。从几何上理解就是k-means划分的每个簇中的样本都紧紧地挨着簇的形心。想要最小化平方误差和并不容易，找到它的最优解需要考虑所有可能的簇的划分，这是个NP难问题。所以，k-means采用了贪心的策略，通过迭代来找到局部最优解。算法流程如下：
- 输入数据集D，簇的个数k
- 从D中随机选择k个不同的样本作为初始均值向量{ u 1 , u 2 , . . . , u k u_1,u_2,...,u_k u1,u2
最低0.47元/天 解锁文章
2142
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
