样本距离计算、向量范数、矩阵范数

样本距离

给定样本$x_i=(x_{i1};x_{i2};\cdots ;x_{in})$与$x_j=(x_{j1};x_{j2};\cdots ;x_{jn})$

最常用的是“闵可夫斯基距离”：
即$L_p$范数$||x_i-x_j||_p$

$$dist_{mk}(x_i,x_j)=\left ( \sum_{u=1}^{n} |x_{iu}-x_{ju}|^p\right )^\frac{1}{p}$$

当p=2时，闵可夫斯基距离即为欧氏距离：

$$dist_{ed}(x_i,x_j)=||x_i-x_j||_2=\sqrt[]{\sum_{u=1}^{n} |x_{iu}-x_{ju}|^2}$$

当p=1时，闵可夫斯基距离即为曼哈顿距离：

$$dist_{man}(x_i,x_j)=||x_i-x_j||_1=\sum_{u=1}^{n} |x_{iu}-x_{ju}|$$

向量范数

设 $x=\left ( \xi _1,\xi _2,\xi _3,\cdots,\xi _n \right )^T \in C^n$

向量p-范数：

$$\left \| x \right \|_p=({\sum_{k=1}^{n}|\xi_k|^p})^\frac{1}{p}$$ 即向量元素绝对值的p次方和的1/p次幂

向量0-范数： 向量中非零元素的个数

向量1-范数：

$$\left \| x \right \|_1=\sum_{k=1}^{n}|\xi_k|$$ 即向量元素绝对值之和

向量2-范数：

$$\left \| x \right \|_2=\sqrt{\sum_{k=1}^{n}|\xi_k|^2}=\sqrt{x^Hx}$$ 即向量元素绝对值的平方和再开方

向量$\infty$-范数：

$$||x||_\infty=\max_k|\xi_k|$$ 即所有向量元素绝对值中的最大值

向量-$\infty$-范数：

$$||x||_{-\infty}=\min_k|\xi_k|$$ 即所有向量元素绝对值中的最小值

矩阵范数

矩阵1-范数：

$$\left \| A\right \|_1=\max_j \sum_{i=1}^{m}|a_{i,j}|$$ 列和范数，即所有矩阵列向量绝对值之和的最大值

矩阵2-范数：

$$||A||_2=\sqrt{\lambda _{A^{H}A} }$$ 谱范数，即 $A^HA$矩阵的最大特征值的开平方，其中 $\lambda _{A^{H}A}$是 $A^HA$的最大特征值， $A^H$是A的共轭转置；

注：因$(A^HA)^H=A^H(A^H)^H=A^HA$,即$A^HA$是Hermite矩阵，它对应的二次型：

$$f(x)=x^H(A^HA)x=(Ax)^H(Ax)=y^Hy\geq 0$$ 是正定的或半正定的，因此它的特征值都大于或等于零

矩阵$\infty$-范数：

$$\left \| A\right \|_\infty=\max_i \sum_{j=1}^{n}|a_{i,j}|$$ 行和范数，即所有矩阵行向量绝对值之和的最大值

矩阵F-范数：

$$\left \| A\right \|_F=\sqrt{\sum_{i,j=1}|a_{i,j}|^2}=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{i,j}|^2}=\sqrt{tr(A^HA)}$$ Frobenius范数，即矩阵元素绝对值的平方和再开平方

矩阵核范数：

$$||A||_\ast =\sum_{i=1}^{n}\lambda _i$$ $\lambda_i$是A的奇异值，即奇异值之和。

后期有新的认识了再添加。。