范数的数学意义

L0，L1，L2范数的数学意义

（如有不当，敬请斧正）

Tips：

范数所表示的一些数学意义：众数，中位数，均值

• $\mathcal{A}:$ L0范数：求L0范数最小时，表示的是数据中的众数modes（假设$0^0=0$的条件下）。其中 Y : { y 1 , y 2 , . . . , y k } \mathcal{Y}:\{{y_1,y_2,...,y_k}\} Y:{y1​,y2​,...,yk​}是数据集样本，$\beta$是目标。现目前主流公认较多的均是$0^0=1$，但是此刻$0^0=0$假设会对下列数学表示非常简便，并且能很好体现统一性。
  $$L0=\Vert \mathcal{Y}-\beta {\Vert }_0=\frac{1}{k}\sum _{i=1}^k(y_i-\beta {)}^0$$
  特别地，在机器学习中一般并没有使用L0范数，因为一般需要遍历整个数据，开销较大；还有一点就是L0范数能够让0变得多，所以一般用于稀疏。此刻很明显地，当$y_i$和$\beta$不相等的时候，值总是为1，只有当$\beta$是数据集$\mathcal{Y}$的众数时候，才能保证L0范数的值最小。

• $\mathcal{B}:$ L1范数：即是绝对值距离；求L1范数最小时，表示的是数据中的中值（中位数medians）。其中$\mathcal{Y}$和$\beta$表示的意义不变。很好理解就是目标$\beta$要尽可能离数据集$\mathcal{Y}$更近，表示出L1范数形式如下：
  $$L1=\Vert \mathcal{Y}-\beta {\Vert }_1=\frac{1}{k}\sum _{i=1}^k|y_i-\beta |$$
  要找出使L1范数最小的$\beta$的值，那么即对它求偏导：
  $$\frac{\partial L1}{\partial \beta }=-\frac{1}{k}\sum _{i=1}^{k}sgn(y_i-\beta )$$
  其中$sgn(.)$是符号函数（值为+1或者-1），当$\frac{\partial L1}{\partial \beta }$为0的时候，即$\beta$应该是$\mathcal{Y}$数据集的中值（保证$y_i$大于$\beta$和小于$\beta$的部分是相同的，才能确保得到的符号函数正负1的值一样来相互抵消，从而偏导为0，得到绝对值距离最值）。

• $\mathcal{C}:$ L2范数：即是平方差（欧式）距离（一般都不用开根号，直接用平方的形式）；求L2范数最小的时候，表示的是数据中的均值means。其中$\mathcal{Y}$和$\beta$表示的意义不变。表示出L2范数形式如下：
  $$L2=\Vert \mathcal{Y}-\beta {\Vert }_2^2=\frac{1}{k}\sum _{i=1}^k(y_i-\beta {)}^2$$
  同样求偏导，当$\frac{\partial L2}{\partial \beta }$为0的时候，即$\beta$应该是均值。
  $$\frac{\partial L2}{\partial \beta }=-\frac{2}{k}\sum _{i=1}^k(y_i-\beta )$$
  $$\frac{\partial L2}{\partial \beta }=0\to \beta =\frac{1}{k}\sum _{i=1}^k{y}_i$$

参考

http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/