1. 无监督学习
在机器学习中,无监督学习可以被简单理解为不为训练集提供对应的类别标识。
无监督学习(Unsupervised Learning)下的训练集:(x(1)),(x(2)),(x(3))
2. 聚类
在监督学习中,把对样本进行分类的过程称之为分类(Classification),而在无监督学习中,将物体被划分到不同集合的过程称之为聚类(Clustering)。
在聚类中,把物体所在的集合称之为簇(cluster)。
3. K-Means 算法及实现
K: 描述了簇的数量,也就是应当聚合成的几何数。
Means:均值求解,是该算法的核心。
实现步骤:
1)根据设定的聚类数 K ,随机地选择 K 个聚类中心(Cluster Centroid)
2)评估各个样本到聚类中心的距离,如果样本距离第 i 个聚类中心更近,则认为其属于第 i 簇
3)计算每个簇中样本的平均(Mean)位置,将聚类中心移动至该位置
重复以上步骤直至各个聚类中心的位置不再发生改变。
4. 优化目标
和其他机器学习算法一样,K-Means 也要评估并且最小化聚类代价
代价函数J,也被称为失真代价函数: J ( c ( 1 ) , c ( 2 ) , . . . , c ( m ) ; μ 1 , μ 2 , . . . , μ k ) = 1 m ∑ i = 1 m ∣ ∣ x ( i ) − μ c ( i ) ∣ ∣ 2 J(c_{(1)},c_{(2)},...,c_{(m)};μ_1,μ_2,...,μ_k)=\frac{1}{m}\sum_{i=1}^m||x^{(i)}−μ_c^{(i)}||^2 J(c