距离算法

闵可夫斯基距离

设特征空间X是n维实数向量空间$R^n$,

$$x_i,x_j \in X,x_i=(x_i^{(1)},x_i^{(2)},...x_i^{(l)})^T，x_j=(x_j^{(1)},x_j^{(2)},...x_j^{(l)})^T,x_i,x_j的L_p距离定义为$$
$$L_p(x_i,x_j)=\bigl(\sum_{l=0}^n\bigl|x_i^{(l)}-x_j^{(l)}\bigl|^p\bigl)^{\frac{1}{p}}$$

欧氏距离

当p=2时为欧式距离，它是最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，定义于欧几里得空间中，对应$L_2$范数。如点$x = (x_1,...,x_n) 和 y = (y_1,...,y_n)$ 之间的距离为：

曼哈顿距离

p=1时为曼哈顿距离，对应$L_1$范数，即在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。

$$L_1(x_i,x_j)=\sum_{l=0}^n\bigl|x_i^{(l)}-x_j^{(l)}\bigl|$$

在机器学习中的应用

L1范数和L2范数，用于机器学习的L1正则化、L2正则化。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。

其作用是：

L1正则化是指权值向量w中各个元素的绝对值之和，可以产生稀疏权值矩阵（稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. ），即产生一个稀疏模型，可以用于特征选择；

L2正则化是指权值向量w中各个元素的平方和然后再求平方根，可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合。