机器学习笔记——16 聚类(clustering)：系统聚类与k-means聚类及对“距离”的重新认识(实战项目：利用k-means实现对图像的压缩)

机器学习笔记——16 聚类(clustering)：系统聚类与k-means聚类及对“距离”的重新认识(实战项目：利用k-means实现对图像的压缩)

在无监督学习中，由于没有标签值，所以也就失去了损失函数这个用样本来近似总体的监督准则，因此我们的学习就需要从样本本身的属性出发。那么从样本的本身属性值出发，有什么信息是可以利用的呢，一般常用的有：

• 样本属性间的“距离”
• 样本属性间的方差与相关性，或者更一般地说，样本属性的各阶样本原点矩和样本中心矩

重新认识距离

“距离”对我们并不陌生，最符合我们“直觉”和出名的大概就是欧式距离了。但是，欧式距离只是对两点间“距离”的一种刻画。一般来讲，我们可以从日常经验中抽象总结出“距离”应该具有的最简和最本质的公理，只要一种刻画方式满足公理，它自然也可以用来刻画距离。

欧式空间

在向量空间中，通过定义内积(仿造三维的内积定义)，可以引申出距离和角度的定义，此时该空间也称为欧式空间(大概是为了纪念欧几里得)。具体的，两个向量的内积应该满足的公理如下：

• 可交换性和正则性：$$\varphi (\xi ,\eta )=\varphi (\eta ,\xi )$$$$\varphi (\xi ,\xi )>0when\xi !=0$$
• 线性性：$$\varphi (a\xi ,\eta )=a\varphi (\xi ,\eta )$$
• 可加性：$$\varphi ({\xi }_1+{\xi }_2,\eta )=\varphi ({\xi }_1,\eta )+\varphi ({\xi }_2,\eta )$$
  此时可以由内积来定义长度，以及两点间的距离：$$L(\xi )=\sqrt{\varphi (\xi ,\xi )}>=0$$
  角度余弦定义：$$cos(\xi ,\eta )=\frac{\varphi (\xi ,\eta )}{L(\xi )L(\eta )}\in (-1,1)$$

角度定义中的取值限制是由柯西不等式决定的$$\varphi (\xi ,\eta {)}^2<=\varphi (\xi ,\xi )\varphi (\eta ,\eta )$$事实上，该式有一个更为直观的理解，即斜边长度大于直角边长度：$$|$$