范数及能量最小原理（转自:三眼二郎）

目录

1.范数

2.能量最小原理

1.范数

没学好矩阵代数的估计范数也不是太清楚，当然学好的人也不是太多。
范数主要是对矩阵和向量的一种描述，有了描述那么“大小就可以比较了”，从字面理解一种比较构成规范的数。有了统一的规范，就可以比较了。

例如：1比2小我们一目了然，可是（3,5,3）和（6,1,2）哪个大？不太好比吧
2范数比：根号（43）比根号（41）大，因此2范数对比中（3,5,3）大
无穷范数比：5比6小，因此无穷范数对比中（6,1,2）大

矩阵范数：描述矩阵引起变化的大小，AX=B，矩阵X变化了A个量级，然后成为了B。
向量范数：描述向量在空间中的大小。
更一般地可以认为范数可以描述两个量之间的距离关系。

向量范数的通用公式为L-P范数

记住该公式其他公式都是该公式的引申。
L-0范数：用来统计向量中非零元素的个数。
L-1范数：向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息，又称稀疏规则算子。
L-2范数：典型应用——欧式距离。可用于优化正则化项，避免过拟合。
L-∞范数：计算向量中的最大值。

这里为了更进一步地理解范数，我们需要知道它到底是用来干啥的。
数学——很多的时候是用来解决对应关系的。比如数据通过一个函数和一个空间中的面或者体产生了对应，而为了便于研究对应关系，单纯地利用函数就不具有普遍性了，这里引出了集合和映射的概念。
集合 映射 集合（这就构成了一个完美的对应关系）
也就引出了范数的意义。
集合的大小：向量的范数
映射引起集合变化大小的度量：矩阵的范数

这里没写矩阵范数的表达式，理解了范数的概念和用途再看矩阵范数也就不难理解了。

在这方面写的比较好的再推荐两篇
https://blog.csdn.net/yangpan011/article/details/79461846
https://blog.csdn.net/shijing_0214/article/details/51757564

2.能量最小原理

物理和自然界定律
1.能量越低，物体所处的状态越稳定。势能越小，状态越稳定。

2.通常情况下，我们用E来表示能量，因此求解时也是在算所构造的能量结构的E的最小化，最小化问题就转化为了求梯度的问题，求梯度的问题等同于求导，导数为0。当然很多情况下，我们取不到我们需要的导数为0的点，为此我们就需要对能量最小有一个大体判断，避免陷入死循环。

3.大部分碰到的能量问题都涉及到了求积分，也就是求总体的能量。而博主主要是做图像分析的，在图像分析上的积分很多情况下都是由于图像是离散像素组成的，因此求连续函数的积分在图像分析中就变成了求离散图像的和了。∫→∑

4.图像能量最小运算的简单模型就是算残差，也就是利用构造线将图像分成若干分，然后通过计算每一份的像素点与该份的平均值得残差，然后找到残差最小的分割方法。