电信保温杯笔记——《统计学习方法(第二版)——李航》第14章 聚类方法
介绍
本文是对原书的精读,会有大量原书的截图,同时对书上不详尽的地方进行细致解读与改写。
聚类是针对给定的样本,依据它们特征的相似度或距离,将其归并到若干个“类”或“簇”的数据分析问题。直观上,相似的样本聚集在相同的类,不相似的样本分散在不同的类。聚类属于无监督学习,因为只是根据样本的相似度或距离将其进行归类,而类或簇事先并不知道。
聚类的基本概念
本节介绍聚类的基本概念,包括样本之间的距离或相似度,类或簇,类与类之间的距离。
样本的相似度或距离
闵可夫斯基距离
马哈拉诺比斯距离
如果把样本看作只有一个特征,那么协方差矩阵的逆就是方差分之一,所以 S − 1 S^{-1} S−1 是用于归一化的。
相关系数
夹角余弦
类或簇
定义
特征
距离
聚类算法
聚类算法很多,本章介绍两种最常用的聚类算法:层次聚类(hierarchical cluster-ing)和 k 均值聚类(k-means clustering)。
层次聚类
聚合聚类
步骤
例子
类间距离使用的是最短距离。
k 均值聚类
下面分别介绍 k 均值聚类的模型、策略、算法,讨论算法的特性及相关问题。
模型
下面红色加号代表该类的中心。
策略
公式(14.21)不知道怎么计算得来的。
算法
步骤
例子
实施要点
本章概要
备注
这个公式尚未知如何算得。
相关视频
相关的笔记
hktxt /Learn-Statistical-Learning-Method
关于K-means_Clustering:
句末是标签,数据集150个样本,每个样本4个特征:
关于def cal_groupcenter(group, Xarray):
代码中使用调整兰德系数(Adjusted Rand Index),用于聚类模型的性能评估