K-means笔记与实现

常用计算距离的方式有：余弦距离、欧式距离、曼哈顿距离等。
欧式距离：空间中两点的直线距离

曼哈顿距离（城市街区距离）

余弦距离
余弦相似度用空间中两个向量夹角的余弦值作为衡量两个样本差异的大小。余弦值越接近1，说明两个向量夹角越接近0度，表明两个向量越相似。



欧式和余弦的区别
余弦距离强调方向的差异（归类）。
欧氏距离强调数值的差异（数值）。

欧式和余弦的关系
向量空间在模归一化后（模归一化=所有向量模都为1），两者有单调的关系。在此场景下，如果选择距离最小（相似度最大）的近邻，那么使用余弦相似度和欧式的结果是相同的。

单调关系推导

相似度
在实际计算相似度过程中，对于特征向量中含有的不同量级的数据应先将数据归一化，将所有数据映射到**[0,1]之间**再求距离。

归一化
最常用的是 min-max标准化 和 z-score 标准化。
min-max标准化：