【机器学习二】梯度下降法KMeans

KMeans聚类的思想:
给定一个有M个对象的数据集，构建一个具有k个簇的模型，其中k<=M。满
足以下条件：
• 每个簇至少包含一个对象
• 每个对象属于且仅属于一个簇
• 将满足上述条件的k个簇成为一个合理的聚类划分
• 基本思想：对于给定的类别数目k，首先给定初始划分，通过迭代改变样本和
簇的隶属关系，使的每次处理后得到的划分方式比上一次的好(总的数据集之
间的距离和变小了)
K-means算法
K-means算法，也称为K-平均或者K-均值，是一种使用广泛的最基础的聚类
算法，一般作为掌握聚类算法的第一个算法
• 假设输入样本为T=X1,X2,…,Xm;则算法步骤为（使用欧几里得距离公式）：
• 选择初始化的k个类别中心a1,a2,…ak;
• 对于每个样本Xi，将其标记位距离类别中心aj最近的类别j
• 更新每个类别的中心点aj为隶属该类别的所有样本的均值(为什么是所有样本的平均距离，下面解释)
• 重复上面两步操作，直到达到某个中止条件
• 中止条件：
• 迭代次数、最小平方误差MSE(样本到中心的距离平方和)、簇中心点变化率
根据K-means算法可以得到其具体是过程示意图：

图b中任意选取2个簇的中心点，图c是第一次迭代，迭代后分别得到2个簇的点。此时还不满足