函数正则项

正则的引入：正则性衡量函数光滑(可导)，正则项则是为了使函数可导而引入的补项。这里的可导可以引申为通过正则项的引入使得非适定问题变为适定问题。（如果按照实际的条件进行求解，函数将出现无穷解现象。当正则项引入时（加入BV范数），函数就变成了可求解函数了。）
这里对适定问题定义：1.问题的解存在且唯一；2.定解约束的改变相对较小时，解的改变也相对较小。

在机器学习中，正则项的引入是为了解决过拟合问题（overfitting）
网上这类文章会有很多，这里不做详细论述。

一般的正则项都会在前面有一个设定的系数，该系数的目的主要是为了体现解的可信度，当该系数过小时，正则项的引入约束力较小，起到的约束作用较小，在约束较小时的结果其可信度较差。当我们的系数增大时，正则项所起的作用也就随之增大。我们求得的解的也更接近我们所设约束下的最优解。

正则项的应用（此处不针对深度学习进行阐述）

1.先验估计：通过正则项的引入，将先验（例如：通过某种方法可以初步估计的结果）做为约束条件，进行函数求解

2.求解奇异矩阵（不为满秩，也就是所推导的的等式个数小于不等式个数。例如：你要求x，y，z。你只给出了x+y=4；y+z=6，这样你是求解不出来特定解的，这样会造成无穷多解。）引入正则项等同于引入了求解方程所需的其他等式关系。
在求解Ax=b时，便可应用此方法

矩阵A的条件数：cond(A)=‖A‖·‖A^(-1)‖，等于它的范数*A的逆的范数。当矩阵A的条件数越大时，矩阵越病态（病态表示矩阵对于误差的敏感度较大，也就是矩阵对于扰动的鲁棒性较差，收到外界干扰，原稳定系统就不能再处于稳定状态）。由于矩阵存在三种范数，因此条件数也有三种。当条件数较小时，矩阵A的改变和b的改变对所求的x的影响就是相对较小的。正规阵在二范数下的条件数就可以表示成 abs(最大特征值/最小特征值)。这里的范数是对应了矩阵的大小，我们一般用范数来衡量一个矩阵和一个向量的大小。

参考文献：

     （1）《非线性数值分析的理论与方法》，黄象鼎等著，武汉大学出版社，2004年9月。