Lipschitz函数相关

最新推荐文章于 2024-02-22 14:18:07 发布

小何同学0.0

最新推荐文章于 2024-02-22 14:18:07 发布

阅读量1.4k

点赞数

文章标签：深度学习机器学习神经网络

本文链接：https://blog.csdn.net/Sovereign00/article/details/122281725

版权

最近在看深度学习的文章，发现它们经常会提到Lipschitz条件，特此做个记录。

Lipschitz continuous

In particular, a real-valued function $\to R$ is called Lipschitz continuous if there exists a positive real constant $K$ such that, for all real $x_{1}$ and $x_{2}$ , $|f(x_{1})-f(x_{2})|\leq K|x_{1}-x_{2}|,$ where $K$ is called Lipschitz constant.
可以证明，导函数有界的函数都满足Lipschitz连续。

L2 正则化能使得模型更好地满足Lipschitz条件，从而降低模型对输入扰动的敏感性，增强模型的泛化性能。但这只是一个比较粗糙的条件，更精确的条件应该是谱范数（Spectral Norm）。
Spectral Norm $W||_2$ : $W^{T}W$ 的最大特征根的平方根。（ $W$ 是神经网络的权重矩阵）
Spectral Norm Regularization: 把谱范数的平方作为额外的正则项，取代简单的L2 正则项。
注：柯西不等式、幂迭代（power iteration）

关注