利普希茨连续(Lipschitz continuous)
利普希茨连续的定义是:如果函数 f f f在区间 Q Q Q上以常数 L L L利普希茨连续,那么对于 x , y ∈ Q x, y \in Q x,y∈Q,有: ∣ ∣ f ( x ) − f ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f(x) - f(y)|| \leq L||x - y|| ∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣ 其中常数 L L L称为 f f f在区间 Q Q Q上的Lipschitz常数。
除了Lipschitz continuous之外,Lipschitz continuous gradient 和 Lipschitz continuous Hessian也是常用到的概念,它们都是由Lipschitz continuous概念延伸出来的。值得一提的是,很多论文中,尤其是关于凸优化的问题,Lipschitz continuous gradient的应用更为常见。
其中,如果函数 f f f满足Lipschitz continuous gradient,就意味着它的导数 f ′ f' f′满足Lipschitz continuous,即如果函数 f f f满足Lipschitz continuous gradient,则: ∣ ∣ f ′ ( x ) − f ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f'(x) - f'(y)|| \leq L||x - y|| ∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣
其中,如果函数 f f f满足Lipschitz continuous Hessian,就意味着它的二阶导数 f ′ ′ f'' f′′满足Lipschitz continuous,即如果函数 f f f满足Lipschitz continuous Hessian,则: ∣ ∣ f ′ ′ ( x ) − f ′ ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f''(x) - f''(y)|| \leq L||x - y|| ∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣
从上面的定义中可以看出,利普希茨连续限制了函数 f f f的局部变动幅度不能超过某常量。同样的道理,Lipschitz continuous gradient和Lipschitz continuous Hessian则限制了函数的导函数和二阶导函数的局部变化幅度。
相关定理(Theorems)
1、如果函数
f
f
f符合Lipschitz continuous,根据上面的公式可以得到下面的不等式:
{
f
(
y
)
≤
f
(
x
)
+
L
∣
∣
y
−
x
∣
∣
f
(
y
)
≥
f
(
x
)
−
L
∣
∣
y
−
x
∣
∣
\left\{ \begin{aligned} f(y)&\leq f(x) + L||y - x||\\ f(y)&\geq f(x)- L||y - x|| \end{aligned} \right.
{f(y)f(y)≤f(x)+L∣∣y−x∣∣≥f(x)−L∣∣y−x∣∣固定变量
x
x
x,不等式的右端即是一个一次的函数,即函数
f
f
f被一次函数上下逼近。
2、如果函数
f
f
f在
R
n
R^{n}
Rn上满足Lipschitz continuous gradient,则对于任意
x
,
y
∈
R
n
x, y \in R^{n}
x,y∈Rn有:
∣
f
(
y
)
−
f
(
x
)
−
<
f
′
(
x
)
,
y
−
x
>
∣
≤
L
/
2
∣
∣
y
−
x
∣
∣
2
|f(y) - f(x) - <f'(x), y - x>| \leq L/2 ||y - x||^{2}
∣f(y)−f(x)−<f′(x),y−x>∣≤L/2∣∣y−x∣∣2根据上面的公式,去掉绝对值,可以得到下面的不等式:
{
f
(
y
)
≤
f
(
x
)
+
<
f
′
(
x
)
,
y
−
x
>
+
L
/
2
∣
∣
y
−
x
∣
∣
2
f
(
y
)
≥
f
(
x
)
+
<
f
′
(
x
)
,
y
−
x
>
−
L
/
2
∣
∣
y
−
x
∣
∣
2
\left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + L/2||y - x||^{2}\\ f(y)&\geq f(x) + <f'(x), y-x> - L/2||y - x||^{2} \end{aligned} \right.
{f(y)f(y)≤f(x)+<f′(x),y−x>+L/2∣∣y−x∣∣2≥f(x)+<f′(x),y−x>−L/2∣∣y−x∣∣2固定变量
x
x
x,不等式的右端即是一个二次的函数,即函数
f
f
f被二次函数上下逼近。或者也可以理解为函数
f
′
f'
f′被一次函数上下逼近。
3、如果函数
f
f
f在
R
n
R^{n}
Rn上满足Lipschitz continuous Hessian,则对于任意
x
,
y
∈
R
n
x, y \in R^{n}
x,y∈Rn有:
∣
f
(
y
)
−
f
(
x
)
−
<
f
′
(
x
)
,
y
−
x
>
−
1
2
<
f
′
′
(
x
)
(
y
−
x
)
,
y
−
x
>
∣
≤
L
/
6
∣
∣
y
−
x
∣
∣
3
|f(y) - f(x) - <f'(x), y - x> - \frac{1}{2}<f''(x)(y - x), y-x>| \leq L/6 ||y - x||^{3}
∣f(y)−f(x)−<f′(x),y−x>−21<f′′(x)(y−x),y−x>∣≤L/6∣∣y−x∣∣3根据上面的公式,去掉绝对值,可以得到下面的不等式:
{
f
(
y
)
≤
f
(
x
)
+
<
f
′
(
x
)
,
y
−
x
>
+
1
2
<
f
′
′
(
x
)
(
y
−
x
)
,
y
−
x
>
+
L
/
6
∣
∣
y
−
x
∣
∣
3
f
(
y
)
≥
f
(
x
)
+
<
f
′
(
x
)
,
y
−
x
>
+
1
2
<
f
′
′
(
x
)
(
y
−
x
)
,
y
−
x
>
−
L
/
6
∣
∣
y
−
x
∣
∣
3
\left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + \frac{1}{2}<f''(x)(y - x), y-x> + L/6 ||y - x||^{3}\\ f(y)&\geq f(x) + <f'(x), y-x> + \frac{1}{2}<f''(x)(y - x), y-x> - L/6 ||y - x||^{3} \end{aligned} \right.
⎩⎪⎨⎪⎧f(y)f(y)≤f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>+L/6∣∣y−x∣∣3≥f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>−L/6∣∣y−x∣∣3固定变量
x
x
x,不等式的右端即是一个三次的函数,即函数
f
f
f被三次函数上下逼近。或者也可以理解为函数
f
′
′
f''
f′′被一次函数上下逼近。
关于上面的证明可以参考非凸优化基石:Lipschitz Condition