机器学习算法基础知识点复习2——L1与L2正则化、梯度、散度、旋度、拉普拉斯算子、傅里叶变换

正则化

我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。

以线性回归为例：

结构风险最小化： 在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。

举一个通俗的栗子：当针对样本（1,1,1,1）有w1（1,0,0,0）与w2（1/4,1/4,1/4,1/4）计算得到的结果相同，此时选择哪一个模型呢，显然选择后一个模型只管感觉更加合理（泛化能力更强），但是如何通过数学公式比较呢，此时就用到了正则化惩罚项，计算，前一项为1*C，后一项为C*（1/4），这样通过计算结果对比，显然后一项的惩罚分更小，模型合适。

L1正则化和L2正则化：

L1正则化就是在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。L2正则化就是loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。

 

梯度、散度、旋度、lapiacian矩阵、Hessian矩阵

图中的细实线箭头表示了四种一阶微分运算，包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型，终点表示了相应运算的因变量的类型，例如梯度运算是作用在标量上的，结果是向量。图中的「向量」默认为列向量。

这四种一阶微分运算可以统一用算符（读作 nabla）表示。Nabla 算符是一个形式向量  ，它可以如下地作用于标量或向量上：

 图中的粗实线箭头表示了两种二阶微分运算，它们可以由两个一阶微分运算组合而成，即：

梯度的散度就是 Laplacian；

梯度的 Jacobian 就是 Hessian。

图中的虚线箭头表示了一种不涉及微分的运算（迹）。在微分运算之后接上「迹」运算，可能得到另一种微分运算，如：

Jacobian 的迹就是散度；

Hessian 的迹就是 Laplacian。

梯度的旋度恒为零向量；

旋度的散度恒为 0。

 

拉普拉斯算子

根据定义，函数  的拉普拉斯算子  又可以写成  ，其被定义为函数  梯度的散度。

我们知道，在直角坐标系下，一个函数  在  处的梯度是一个向量  ，

于是函数  的梯度函数 

就构成了一个在三维空间下的向量场。

于是乎，我们对这一向量场  求散度  ，即得到了  的拉普拉斯算子  。

为什么要这样做呢？

让我们想像一座山，根据梯度的定义，在山峰周围，所有的梯度向量向此汇聚，所以每个山峰处的拉普拉斯算子为负；而在山谷周围，所有梯度从此发散，所以每个山谷处的拉普拉斯算子为正。所以说，对于一个函数，拉普拉斯算子实际上衡量了在空间中的每一点处，该函数梯度是倾向于增加还是减少

 

拉普拉斯矩阵

我们有相应的矩阵 

我们又有关于图函数  的列向量  ：

我们试着计算  ：

经过观察我们可以知道，最后计算结果的向量，即是整个图  在  函数上的梯度  ，其中每一行，为该梯度在一条边上的分量。

所以对于图  ，我们有  ,使得 

图函数每一点上梯度的散度，即是从该节点射出的梯度，减去射入该节点的梯度，那么我们几乎又可以立即想到（？），根据这样的定义去计算散度，只要把原来的梯度再左乘一个这样的矩阵就可以啦：

每一行代表一个点，每一列代表一条边，使得对于每个点每条边，如果该条边从该点发射出去，则将矩阵中对应的这一元素置为   ，如果该条边指向该点，则将对应的元素置为 

命名这一矩阵为 

也就是说，我们把  的每个元素，正的变成1，负的变成-1，就得到了 

那么，

 

于是我们得到了图论函数的拉普拉斯算子  ，即我们常说的拉普拉斯矩阵。

 

傅里叶变换

简单的讲：就是将复杂的周期信号，变换成一系列成谐波关系（谐波关系：基波频率整数倍的各次分量称为谐波）正弦信号的叠加。

1、方波

下图展示了方波的傅里叶级数的前50项的叠加过程，如果项数继续增加，则最终趋近方波。

02、锯齿波

考虑组成锯齿波的正弦信号，锯齿波可由以下公式表示， 这里 n 为正整数：

 

频域到时域的变换过程

参考
https://zhuanlan.zhihu.com/p/35356992
https://zhuanlan.zhihu.com/p/35323714

https://www.zhihu.com/question/279808864