监督学习和非监督学习前情回顾:
在聚类问题中,给定一个训练集,算法根据某种策略将训练集分成若干类。在监督式学习中,训练集中每一个数据都有一个标签,但是在如果分类问题中没有标签,我们可以将聚类算法称之为非监督式学习算法。这两种算法最大的区别还在于:监督式学习有标签,而非监督式学习没有标签。那么这里可以理解为标签实际上就是一种监督性质的分类,而无标签根据分布性质,那么我们称之为聚类。感兴趣同学可以查阅半监督学习。
算法基本内容
算法的核心目标就是将给定的数据集分成 k 类,具体做法为:
- 1、随机选取k个簇中心(cluster centroids)记为
μ1,μ2,...,μk∈Rn
- 2、重复下面过程直到收敛 {
对于每一个样例 i ,计算其应该属于的类
c(i)=arg minj∥x(i)−μj∥2
对于每一个类j,重新计算该类的质心