欧氏距离
马氏距离
欧氏距离可以理解成P维空间中,两个点之间的距离。需要注意的是,各变量之间的单位要全都相同。
下面是一个关于欧式距离的例子~
假设是二维空间,判断点哪一个更离群,显然右边的点到椭圆边界的距离要比上边的点到椭圆边界的距离小,所以直觉上判断上边的点更离群,但是通过算欧氏距离得到右边的点距中心的欧氏距离更大,这与直觉相违背。所以需要一个标准化的过程,把椭圆横轴进行标准化,相当于横向压缩成一个圆,那么,这样求得的欧氏距离就是上边的点更大。
马氏距离
首先需要明确,变量X1和X2相关,反映到椭圆图中就是椭圆点群是歪的。所以单纯的标准化不能排除变量相关的影响。所以需要先对坐标轴进行旋转,把变量之间的相关性考虑在内(公式中加入了协方差矩阵),然后标准化求欧氏距离。即马氏距离是将坐标轴旋转之后求得的欧氏距离!
马氏距离特点
针对图一第三条的解释:如果协方差矩阵是单位矩阵,也就是X,Y之间不相关,就不需要对坐标轴进行旋转且不需要标准化,此时求得欧氏距离就是马氏距离。如果协方差矩阵是对角阵,那么同样X,Y之间不相关,不需要旋转,但是需要对方差进行标准化。
马氏距离意义
PPT来源:b站上海财经大学-王学民
图片来源:谷歌wiki百科