6-1 一些数学基础
文章目录
1.向量范数
x = ( x 1 , x 2 , x 3 , . . . , x n ) x=(x_1,x_2,x_3,...,x_n) x=(x1,x2,x3,...,xn)
- l 1 l_1 l1范数: ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 n ∣ x i ∣ ||x||_1=\sum_{i=1}^n|x_i| ∣∣x∣∣1=∑i=1n∣xi∣
- l ∞ l_{\infty} l∞范数: ∣ ∣ x ∣ ∣ ∞ = m a x i = 1 , . . . , n ∣ x i ∣ ||x||_{\infty}=\underset{i=1,...,n}{max}|x_i| ∣∣x∣∣∞=i=1,...,nmax∣xi∣
- l p l_p lp范数: ∣ ∣ x ∣ ∣ 1 = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p ||x||_1=(\sum_{i=1}^n|x_i|^p)^{\frac{1}{p}} ∣∣x∣∣1=(∑i=1n∣xi∣p)p1
- 特例 l 0 l_0 l0“范数”: ∣ ∣ x ∣ ∣ 0 = ( x 中 非 零 元 个 数 ) ||x||_0=(x中非零元个数) ∣∣x∣∣0=(x中非零元个数),显然它不是范数
- 椭球范数:
A
∈
R
n
A\in R^n
A∈Rn是对称正定矩阵,
∣
∣
x
∣
∣
A
=
x
T
A
x
||x||_A=\sqrt {x^TAx}
∣∣x∣∣A=xTAx
证明:(椭球范数是向量范数)
- 显然 ∣ ∣ x ∣ ∣ A > θ ||x||_A>\theta ∣∣x∣∣A>θ,若 x = θ x=\theta x=θ,则上式右端为0;若右端为0,由于A为实对称正定(可考虑二次型 f ( x ) = a 1 x 1 2 + a 2 x 2 2 + . . . + a n x n 2 f(x)=a_1x_1^2+a_2x_2^2+...+a_nx_n^2 f(x)=a1x12+a2x22+...+anxn2其中a为A的特征值)故 x = θ x=\theta x=θ.
- a ∈ R , ∣ ∣ a x ∣ ∣ A = ( a x ) T A a x = a 2 x T A x = ∣ a ∣ x T A x = a ∣ ∣ x ∣ ∣ A a\in R,||ax||_A=\sqrt {(ax)^TAax}=\sqrt {a^2x^TAx}=|a|\sqrt {x^TAx}=a||x||_A a∈R,∣∣ax∣∣A=(ax)TAax=a2xTAx=∣a∣xTAx=a∣∣x∣∣A
- x , y ∈ R n , ∣ ∣ x + y ∣ ∣ A = ( x + y ) T A ( x + y ) = x T A x + y T A y ≤ x T A x + y T A y x,y\in R^n,||x+y||_A=\sqrt {(x+y)^TA(x+y)}=\sqrt {x^TAx+y^TAy}\leq \sqrt {x^TAx}+\sqrt {y^TAy} x,y∈Rn,∣∣x+y∣∣A=(x+y)TA(x+y)=xTAx+yTAy≤xTAx+yTAy 。
- 证毕
- 对偶范数:
∣
∣
x
∣
∣
∗
=
s
u
p
{
x
T
z
∣
∣
∣
z
∣
∣
≤
1
}
||x||_*=sup\{x^Tz |\quad ||z||\leq 1\}
∣∣x∣∣∗=sup{xTz∣∣∣z∣∣≤1}(验证这是一个向量范数)
证明:
- 取 z = x ∣ ∣ x ∣ ∣ z=\frac{x}{||x||} z=∣∣x∣∣x,显然 ∣ ∣ x ∣ ∣ ∗ ≥ x T z ≥ 0 , x = 0 ⇒ ∣ ∣ x ∣ ∣ ∗ = 0 ; ∣ ∣ x ∣ ∣ ∗ = 0 ⇒ x = 0 ||x||_*\geq x^Tz\geq 0,x=0\Rightarrow||x||_*=0;||x||_*=0\Rightarrow x=0 ∣∣x∣∣∗≥xTz≥0,x=0⇒∣∣x∣∣∗=0;∣∣x∣∣∗=0⇒x=0
- 正齐次性显然
- 三角不等式显然。
- 证毕
2.矩阵范数
A ∈ R n × m A\in R^{n\times m} A∈Rn×m
- 行和范数: ∣ ∣ A ∣ ∣ ∞ = m a x i = 1 , . . . , n ∑ j = 1 m ∣ a i j ∣ ||A||_\infty=\underset{i=1,...,n}{max}\sum_{j=1}^{m}|a_{ij}| ∣∣A∣∣∞=i=1,...,nmax∑j=1m∣aij∣
- 列和范数: ∣ ∣ A ∣ ∣ ∞ = m a x j = 1 , . . . , m ∑ i = 1 n ∣ a i j ∣ ||A||_\infty=\underset{j=1,...,m}{max}\sum_{i=1}^{n}|a_{ij}| ∣∣A∣∣∞=j=1,...,mmax∑i=1n∣aij∣
- 谱范数: ∣ ∣ A ∣ ∣ 2 = ρ ( A T A ) ||A||_2=\sqrt{\rho(A^TA)} ∣∣A∣∣2=ρ(ATA)
- F F F范数:所有元素绝对值求和
- 相容范数:设 ∣ ∣ ⋅ ∣ ∣ p , ∣ ∣ ⋅ ∣ ∣ v ||\cdot||_p,||\cdot||_v ∣∣⋅∣∣p,∣∣⋅∣∣v分别是两个不同的范数,若 ∣ ∣ A B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ p ∣ ∣ B ∣ ∣ v ||AB||\leq||A||_p||B||_v ∣∣AB∣∣≤∣∣A∣∣p∣∣B∣∣v则称两范数相容。
3.Von Neumann定理
设相容矩阵范数
∣
∣
⋅
∣
∣
||\cdot||
∣∣⋅∣∣满足
∣
∣
I
∣
∣
=
1
||I||=1
∣∣I∣∣=1,若矩阵
H
∈
L
(
R
n
)
H\in L(R^n)
H∈L(Rn)满足
∣
∣
H
∣
∣
<
1
||H||<1
∣∣H∣∣<1,则
(
I
−
H
)
−
1
(I-H)^{-1}
(I−H)−1存在,且
∣
∣
(
I
−
H
)
−
1
∣
∣
<
1
1
−
∣
∣
H
∣
∣
||(I-H)^{-1}||<\frac{1}{1-||H||}
∣∣(I−H)−1∣∣<1−∣∣H∣∣1
若
A
∈
L
(
R
n
)
A\in L(R^n)
A∈L(Rn)非奇异且
∣
∣
A
−
1
(
B
−
A
)
∣
∣
<
1
||A^{-1}(B-A)||<1
∣∣A−1(B−A)∣∣<1则
B
B
B也非奇异,且
∣
∣
B
−
1
∣
∣
<
∣
∣
A
−
1
∣
∣
1
−
∣
∣
A
−
1
(
B
−
A
)
∣
∣
||B^{-1}||<\frac{||A^{-1}||}{1-||A^{-1}(B-A)||}
∣∣B−1∣∣<1−∣∣A−1(B−A)∣∣∣∣A−1∣∣
第二个式子也常写作:
\qquad
若
A
A
A非奇异且
∣
∣
A
−
1
∣
∣
<
α
,
∣
∣
A
−
B
∣
∣
<
β
,
α
β
<
1
||A^{-1}||<\alpha,||A-B||<\beta,\alpha \beta<1
∣∣A−1∣∣<α,∣∣A−B∣∣<β,αβ<1则
B
B
B也非奇异且
∣
∣
B
−
1
∣
∣
<
α
1
−
α
β
||B^{-1}||<\frac{\alpha}{1-\alpha\beta}
∣∣B−1∣∣<1−αβα
4.仿射集合
如果通过集合
C
⊂
R
n
C\subset R^n
C⊂Rn任意两个不同点的直线仍在集合中,则称集合C是仿射的。
例:(线性方程组的解集)设线性方程组的解集
C
=
{
x
∣
A
x
=
b
}
C=\{x|Ax=b\}
C={x∣Ax=b},则C是仿射集。
证明:设
x
1
,
x
2
∈
C
x_1,x_2\in C
x1,x2∈C,既
A
x
1
=
b
,
A
x
2
=
b
Ax_1=b,Ax_2=b
Ax1=b,Ax2=b,则
∀
θ
∈
R
\forall\theta\in R
∀θ∈R有:
A
(
θ
x
1
+
(
1
−
θ
)
x
2
)
=
θ
A
x
1
+
(
1
−
θ
)
A
x
2
=
b
A(\theta x_1+(1-\theta)x_2)=\theta Ax_1+(1-\theta)Ax_2=b
A(θx1+(1−θ)x2)=θAx1+(1−θ)Ax2=b
- 仿射包:称由集合
C
∈
R
n
C\in R^n
C∈Rn中点的所有放射组合组成的集合称为仿射包。
仿射包是包含集合C的最小的妨设集合 - 仿射维数:仿射包的维数
5.凸集
- 凸集:如果C中任意两点间的线段仍在集合中,则称集合是凸集。
注:仿射集是凸集合 - 凸组合:我们称C中元素系数和为1的线性组合为C的凸组合 ( θ 1 x 1 + . . . + θ k x k , θ 1 + . . . + θ k = 1 ) (\theta_1x_1+...+\theta_kx_k,\theta_1+...+\theta_k=1) (θ1x1+...+θkxk,θ1+...+θk=1)
- 凸包:所有凸组合的集合,记为
c
o
n
v
C
convC
convC
注: c o n v C convC convC总是凸的,它是包含C的最小的凸集。 - 保凸运算:伸缩、平移、投影、部分和
仿射集和凸集的几个例子:
- 空集、单点集、全空间均是 R n R^n Rn的仿射子集(自然凸)
- 直线仿射
- 线段凸不仿射
- 射线凸不仿射
- R n R^n Rn空间的球凸
6.多元实函数与微商
- 连续
称函数 f : R n → R , 在 x 0 ∈ R f:R^n\to R,在x_0\in R f:Rn→R,在x0∈R处连续,若 ∀ ϵ > 0 , ∃ δ = δ ( ϵ , x 0 ) > 0 \forall \epsilon>0,\exist\delta=\delta(\epsilon,x_0)>0 ∀ϵ>0,∃δ=δ(ϵ,x0)>0使得 ∀ x ∈ S ( x 0 , δ ) ⊂ D , 有 f ( x ) ∈ S ( f ( x 0 ) , ϵ ) \forall x\in S(x_0,\delta)\sub D,有f(x)\in S(f(x_0),\epsilon) ∀x∈S(x0,δ)⊂D,有f(x)∈S(f(x0),ϵ).若 f f f在开集 D D D的每点都连续,则称 f f f在开集D的每点都连续。 - G可微
设 D ∈ R n D\in R^n D∈Rn为开集,称映像 F : D → R m F:D\to R ^m F:D→Rm于内点 x ∈ R n x\in R^n x∈Rn处 G G G可微,若存在线性算子 A ∈ L ( R n , R m ) A\in L(R^n,R^m) A∈L(Rn,Rm)使得对任何方向 h ∈ R n h\in R^n h∈Rn以及 x + t h ∈ D x+th\in D x+th∈D,有 lim t → 0 1 t ( F ( x + t h ) − F ( x ) ) = A h \lim_{t\to0}\frac{1}{t}(F(x+th)-F(x))=Ah t→0limt1(F(x+th)−F(x))=Ah,此时称 A A A为 F F F在 x x x处的 G − G- G−微商。
上式还有另一等价形式:
lim t → 0 1 t ∣ ∣ F ( x + t h ) − F ( x ) − t A h ∣ ∣ = 0 \lim_{t\rightarrow0}\frac{1}{t}||F(x+th)-F(x)-tAh||=0 t→0limt1∣∣F(x+th)−F(x)−tAh∣∣=0 - F可微
\qquad 设 D ⊂ R n D\subset\mathbb R^n D⊂Rn为开集,称映像 F : D → R n F:D\to\mathbb R^n F:D→Rn于内点 x ∈ R n x\in\mathbb R^n x∈Rn处 F − F- F−可微,若存在线性算子 A ∈ L ( R n , R m ) A\in L(\mathbb R^n,\mathbb R^m) A∈L(Rn,Rm)使得 lim h → 0 1 ∥ h ∥ ∥ F ( x + h ) − F ( x ) − A h ∥ = 0 \lim_{h\to 0}\frac{1}{\Vert h\Vert}\Vert F(x+h)-F(x)-Ah\Vert=0 h→0lim∥h∥1∥F(x+h)−F(x)−Ah∥=0此时称 A A A在 x x x处 F − F- F−可微。 - 连续即可微
\qquad 映像 F F F如前所述。若 F F F在 x x x处 F − F- F−可微,则其在该点连续,并且存在 δ > 0 , c > 0 \delta>0,c>0 δ>0,c>0,使得 S ˉ ( x , δ ) ∈ D \bar S(x,\delta)\in D Sˉ(x,δ)∈D且 ∥ F ( x + h ) − F ( x ) ∥ ≤ c ∥ h ∥ , w h e n ∥ h ∥ ≤ δ . \Vert F(x+h)-F(x)\Vert\leq c\Vert h\Vert,\quad when \Vert h\Vert\leq\delta. ∥F(x+h)−F(x)∥≤c∥h∥,when∥h∥≤δ.
证明:由于x为内点,故存在 δ 1 > 0 \delta_1>0 δ1>0使得当 ∣ ∣ h ∣ ∣ ≤ δ 1 ||h||\leq \delta_1 ∣∣h∣∣≤δ1时 x + h ∈ D x+h\in D x+h∈D故存在正数 δ ≤ δ 1 \delta\leq\delta_1 δ≤δ1使得 ∣ ∣ F ( x + h ) − F ( x ) − F ′ ( x ) h ∣ ∣ ≤ ϵ ∣ ∣ h ∣ ∣ , ∣ ∣ h ∣ ∣ ≤ δ ||F(x+h)-F(x)-F'(x)h||\leq\epsilon||h||,||h||\leq\delta ∣∣F(x+h)−F(x)−F′(x)h∣∣≤ϵ∣∣h∣∣,∣∣h∣∣≤δ证毕。
7.连锁法则
-
映像的连锁法则
\qquad 设映像 F : D F → R m F:D_F\to \mathbb R^m F:DF→Rm于 x ∈ R n x\in \mathbb R^n x∈Rn处 G − G- G−可微, G : D G → R p G:D_G\to \mathbb R^p G:DG→Rp于 F ( x ) ∈ R m F(x)\in \mathbb R^m F(x)∈Rm处 F − F- F−可微,则 H = G ⋅ F H=G\cdot F H=G⋅F于 x x x处 G − G- G−可微,且 H ′ ( x ) = G ′ ( F ( x ) ) F ′ ( x ) . H'(x)=G'(F(x))F'(x). H′(x)=G′(F(x))F′(x).此外,若 F F F于 x x x点 F − F- F−可微,则 H H H亦然。
推论:若映像 F : D F → R m F:D_F\to \mathbb R^m F:DF→Rm于 x ∈ R n x\in \mathbb R^n x∈Rn处弱(强)可微, A ∈ L ( R m , R p ) A\in L(\mathbb R^m,\mathbb R^p) A∈L(Rm,Rp),则 H = A F H=AF H=AF于 x x x处弱(强)可微且 H ′ ( x ) = A F ′ ( x ) . H'(x)=AF'(x). H′(x)=AF′(x). -
中值公式
\qquad 若映像 F : D ⊂ R n → R m F:D\subset\mathbb R^n\to \mathbb R^m F:D⊂Rn→Rm于线段 [ x ˉ , x ˉ + Δ x ] ⊂ D [\bar x,\bar x+\Delta x]\subset D [xˉ,xˉ+Δx]⊂D上 G − G- G−可微,则 ∥ F ( x ˉ + Δ x ) − F ( x ˉ ) ∥ ≤ sup 0 < ξ < 1 ∥ F ′ ( x ˉ + ξ Δ x ) ∥ ∥ Δ x ∥ \Vert F(\bar x+\Delta x)-F(\bar x)\Vert\leq \sup_{0<\xi<1}\Vert F'(\bar x+\xi\Delta x)\Vert\Vert \Delta x\Vert ∥F(xˉ+Δx)−F(xˉ)∥≤0<ξ<1sup∥F′(xˉ+ξΔx)∥∥Δx∥
推论1:若映像 F : D ⊂ R n → R m F:D\subset\mathbb R^n\to \mathbb R^m F:D⊂Rn→Rm于凸集 D 0 ⊂ D D_0\subset D D0⊂D上 G − G- G−可微,则对 ∀ x , y , z ∈ D 0 \forall x,y,z\in D_0 ∀x,y,z∈D0有 ∥ F ( y ) − F ( x ) − F ′ ( z ) ( y − x ) ∥ ≤ sup 0 < ξ < 1 ∥ F ′ ( x + ξ ( y − x ) − F ′ ( z ) ) ∥ ∥ y − x ∥ \Vert F(y)-F(x)-F'(z)(y-x)\Vert\leq \sup_{0<\xi<1}\Vert F'( x+\xi(y-x)-F'(z))\Vert\Vert y-x\Vert ∥F(y)−F(x)−F′(z)(y−x)∥≤0<ξ<1sup∥F′(x+ξ(y−x)−F′(z))∥∥y−x∥
推论2:连续 G − G- G−可微即 F − F- F−可微.
8.牛莱公式
\qquad 若映像 F : D ⊂ R n → R m F:D\subset\mathbb R^n\to \mathbb R^m F:D⊂Rn→Rm于凸集 D 0 ⊂ D D_0\subset D D0⊂D上 G − G- G−可微,且 F ′ ( x ) F'(x) F′(x)于 D D D上 L i p s c h i t z Lipschitz Lipschitz连续 ( X ) (\mathcal X) (X),则对 ∀ x ˉ , x ˉ + Δ x ∈ D 0 \forall \bar x,\bar x+\Delta x\in D_0 ∀xˉ,xˉ+Δx∈D0有 ∥ F ( x ˉ + Δ x ) − F ( x ˉ ) − F ′ ( x ˉ Δ x ) ∥ ≤ 1 2 X ∥ Δ x ∥ 2 . \Vert F(\bar x+\Delta x)-F(\bar x)-F'(\bar x\Delta x)\Vert\leq\frac{1}{2}\mathcal X\Vert \Delta x\Vert^2. ∥F(xˉ+Δx)−F(xˉ)−F′(xˉΔx)∥≤21X∥Δx∥2.
9.函数的凸、严格凸、一致凸
- 凸:若定义在凸集C上的泛函
f
f
f满足:存在
α
∈
(
0
,
1
)
\alpha\in(0,1)
α∈(0,1)使得
f
(
α
x
1
+
(
1
−
α
)
x
2
)
≤
α
f
(
x
1
)
+
(
1
−
α
)
f
(
x
2
)
(1)
f(\alpha x_1+(1-\alpha)x_2)\leq \alpha f(x_1)+(1-\alpha)f(x_2)\tag1
f(αx1+(1−α)x2)≤αf(x1)+(1−α)f(x2)(1)则称泛函f是凸的,其中
x
1
,
x
2
∈
C
x_1,x_2\in C
x1,x2∈C.
⟺ \iff ⟺若 f f f在 C C C上 G G G可微,则 f f f凸的充要条件为 f ′ ( x ) ( y − x ) ≤ f ( y ) − f ( x ) f'(x)(y-x)\leq f(y)-f(x) f′(x)(y−x)≤f(y)−f(x) - 严格凸:若
(
1
)
(1)
(1)不等号严格成立则称严格凸。
⟺ \iff ⟺若 f f f在 C C C上 G G G可微,则 f f f严格凸的充要条件为 f ′ ( x ) ( y − x ) < f ( y ) − f ( x ) f'(x)(y-x)< f(y)-f(x) f′(x)(y−x)<f(y)−f(x) - 一致(强)凸:若存在常数
c
>
0
c>0
c>0使得
α
f
(
x
1
)
+
(
1
−
α
)
f
(
x
2
)
≥
f
(
α
x
1
+
(
1
−
α
)
x
2
)
+
c
α
(
1
−
α
)
∣
∣
x
1
−
x
2
∣
∣
2
(2)
\alpha f(x_1)+(1-\alpha)f(x_2)\geq f(\alpha x_1+(1-\alpha)x_2)+c\alpha(1-\alpha)||x_1-x_2||^2 \tag2
αf(x1)+(1−α)f(x2)≥f(αx1+(1−α)x2)+cα(1−α)∣∣x1−x2∣∣2(2)则称一致凸。
⟺
\iff
⟺若
f
f
f在
C
C
C上
G
G
G可微,则
f
f
f一致凸的充要条件为
f
′
(
x
)
(
y
−
x
)
+
c
∣
∣
y
−
x
∣
∣
2
≤
f
(
y
)
−
f
(
x
)
f'(x)(y-x)+c||y-x||^2\leq f(y)-f(x)
f′(x)(y−x)+c∣∣y−x∣∣2≤f(y)−f(x)
显然,一致凸 ⟹ \implies ⟹严格凸 ⟹ \implies ⟹凸
例:证明 f ( x ) = x 4 f(x)=x^4 f(x)=x4严格凸但不存在任何 c > 0 c>0 c>0使得一致凸。
证: f ( α x + ( 1 − α ) y ) = ( α x + ( 1 − α ) y ) 4 < α x 4 + ( 1 − α ) y 4 f(\alpha x+(1-\alpha)y)=(\alpha x+(1-\alpha)y)^4<\alpha x^4+(1-\alpha)y^4 f(αx+(1−α)y)=(αx+(1−α)y)4<αx4+(1−α)y4
又因为 ∀ c > 0 \forall c>0 ∀c>0都有 ∑ k = 0 4 C 4 k α 4 − k x 4 − k ( 1 − α ) k y k < c α ( 1 − α ) ∣ ∣ x − y ∣ ∣ 2 \sum_{k=0}^4C^k_4\alpha^{4-k}x^{4-k}(1-\alpha)^ky^k<c\alpha(1-\alpha)||x-y||^2 k=0∑4C4kα4−kx4−k(1−α)kyk<cα(1−α)∣∣x−y∣∣2故不存在任何 c > 0 c>0 c>0使得(2)式成立。
10. α − \alpha- α−下水平集
函数
f
:
R
n
→
R
f:R^n\to R
f:Rn→R的
α
−
\alpha-
α−下水平集定义为
C
α
=
{
x
∈
d
o
m
f
∣
f
(
x
)
<
α
}
C_\alpha=\{x\in domf|f(x)<\alpha\}
Cα={x∈domf∣f(x)<α}.
例:对于任意
α
\alpha
α,凸函数的下水平集仍为凸集
证明:设
x
,
y
∈
C
α
x,y\in C_{\alpha}
x,y∈Cα,则
f
(
x
)
,
f
(
y
)
≤
α
f(x),f(y)\leq \alpha
f(x),f(y)≤α,于是
f
(
θ
x
+
(
1
−
θ
)
y
)
≤
θ
f
(
x
)
+
(
1
−
θ
)
f
(
y
)
≤
α
f(\theta x+(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y)\leq \alpha
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)≤α
证毕。
11.次梯度
\qquad
设
f
(
x
)
,
x
∈
X
f(x),x\in X
f(x),x∈X为实值函数,称
g
g
g为
f
f
f在
x
x
x点处的次梯度,若
∀
y
,
s
.
t
.
g
T
(
x
−
y
)
≤
f
(
y
)
−
f
(
x
)
\forall y,\quad s.t.\quad g^T(x-y)\leq f(y)-f(x)
∀y,s.t.gT(x−y)≤f(y)−f(x);
x
x
x点处的所有次梯度组成的集合称为该点处的次微分,记作
∂
f
(
x
)
\partial f(x)
∂f(x)。
\qquad
设
f
f
f为定义于凸集
X
X
X上的实值函数。若
∀
x
∈
X
,
∂
f
(
x
)
≠
∅
\forall x\in X,\partial f(x)\neq \empty
∀x∈X,∂f(x)=∅,则
f
f
f凸。反之,若
f
f
f凸,则对任意
x
∈
i
n
t
(
X
)
,
∂
f
(
x
)
≠
∅
.
x\in int(X),\partial f(x)\neq\empty.
x∈int(X),∂f(x)=∅.
关于凸、严格凸、一致凸的相关内容:
例:
证明:由于
∇
2
f
(
x
∗
)
\nabla^2f(x^*)
∇2f(x∗)正定,故它的特征值
λ
1
,
.
.
.
,
λ
k
>
0
\lambda_1,...,\lambda_k>0
λ1,...,λk>0,于是
m
a
x
λ
∣
∣
d
∣
∣
2
2
≤
d
T
∇
f
(
x
∗
)
d
=
λ
2
d
1
2
+
.
.
.
+
λ
k
d
k
2
≥
m
i
n
(
λ
)
∣
∣
d
∣
∣
2
2
max\lambda||d||_2^2\leq d^T\nabla f(x^*)d=\lambda^2d_1^2+...+\lambda_kd_k^2 \geq min(\lambda)|| d||_2^2
maxλ∣∣d∣∣22≤dT∇f(x∗)d=λ2d12+...+λkdk2≥min(λ)∣∣d∣∣22第一、二式得证。同理由梯度的定义第三式得证。
12.Lipschitz光滑
Lipschitz连续条件
∥
f
(
y
)
−
f
(
x
)
∥
≤
L
(
y
−
x
)
,
∀
x
,
y
\Vert f(y)-f(x)\Vert\leq L(y-x),\forall x,y
∥f(y)−f(x)∥≤L(y−x),∀x,y
上式为条件
[
0
]
[0]
[0]
注: f f f为 R n R^n Rn上的L-光滑的凸函数时,对 ∀ x , y , α ∈ [ 0 , 1 ] , [ 0 ] − [ 7 ] \forall x,y,\alpha\in[0,1],[0]-[7] ∀x,y,α∈[0,1],[0]−[7]等价。
13.Jensen不等式及其扩展
利用Jensen不等式证明
H
o
.
.
l
d
e
r
H\overset{..}{o}lder
Ho..lder不等式:对
p
>
1
,
1
p
+
1
q
=
1
,
x
,
y
∈
R
n
p>1,\frac{1}{p}+\frac{1}{q}=1,x,y\in R^n
p>1,p1+q1=1,x,y∈Rn有
∥
x
y
T
∥
1
≤
∥
x
∥
p
∥
y
∥
q
\Vert xy^T\Vert_1\leq\Vert x\Vert_p\Vert y\Vert_q
∥xyT∥1≤∥x∥p∥y∥q.
证明: 由
−
l
o
g
x
-logx
−logx的凸性以及
J
e
n
s
e
n
Jensen
Jensen不等式我们有
−
l
o
g
(
θ
a
+
(
1
−
θ
)
b
)
≤
−
θ
l
o
g
a
−
(
1
−
θ
)
l
o
g
b
-log(\theta a+(1-\theta)b)\leq-\theta loga-(1-\theta)logb
−log(θa+(1−θ)b)≤−θloga−(1−θ)logb
而由基本不等式可知
a
θ
b
(
1
−
θ
)
≤
θ
a
+
(
1
−
θ
)
b
a^\theta b^{(1-\theta)}\leq \theta a+(1-\theta)b
aθb(1−θ)≤θa+(1−θ)b其中
a
,
b
>
0
,
θ
∈
(
0
,
1
)
a,b>0,\theta\in(0,1)
a,b>0,θ∈(0,1).令
a
=
∣
x
i
∣
p
∑
j
=
1
n
∣
x
j
∣
p
,
b
=
∣
y
i
∣
p
∑
j
=
1
n
∣
y
j
∣
p
,
θ
=
1
p
,
a=\frac{|x_i|^p}{\sum_{j=1}^{n}|x_j|^p},b=\frac{|y_i|^p}{\sum_{j=1}^{n}|y_j|^p},\theta=\frac{1}{p},
a=∑j=1n∣xj∣p∣xi∣p,b=∑j=1n∣yj∣p∣yi∣p,θ=p1,可以得到如下不等式
a
1
p
b
1
q
≤
=
∣
x
i
∣
p
p
∑
j
=
1
n
∣
x
j
∣
p
+
∣
y
i
∣
p
q
∑
j
=
1
n
∣
y
j
∣
p
a^{\frac{1}{p}}b^{\frac{1}{q}}\leq=\frac{|x_i|^p}{p\sum_{j=1}^{n}|x_j|^p}+\frac{|y_i|^p}{q\sum_{j=1}^{n}|y_j|^p}
ap1bq1≤=p∑j=1n∣xj∣p∣xi∣p+q∑j=1n∣yj∣p∣yi∣p由
a
,
b
a,b
a,b的定义两端对
i
i
i求和即可得
H
o
.
.
l
d
e
r
H\overset{..}{o}lder
Ho..lder不等式。
14.保凸运算
- 非负加权求和保凸:若 f f f凸则 ∀ α > 0 , s . t . a f \forall\alpha>0,s.t.af ∀α>0,s.t.af凸(可由凸函数定义证得),若 f 1 , f 2 f_1,f_2 f1,f2凸则 f 1 + f 2 f_1+f_2 f1+f2凸(可由定义证得)故,若 f 1 , f 2 , . . . f n f_1,f_2,...f_n f1,f2,...fn凸则任意 w 1 , w 2 , . . . w n > 0 w_1,w_2,...w_n>0 w1,w2,...wn>0有 f = w 1 f 1 + w 2 f 2 + . . . + w n f n f=w_1f_1+w_2f_2+...+w_nf_n f=w1f1+w2f2+...+wnfn凸
- 无限项非负加权求和及积分:由第一条可知凸函数无限项非负加权求和仍为凸函数,故若 ∫ A f ( x ) d x \int_\mathcal Af(x)dx ∫Af(x)dx存在,则积分关于 x x x凸(定积分的定义及求解:分割、近似、求和、取极限)
- 凸函数的复合仿射变换仍凸
- 凸函数的逐点最大函数仍为凸函数:
f
1
,
f
2
f_1,f_2
f1,f2均为凸函数,则
f
(
x
)
=
m
a
x
(
f
1
(
x
)
,
f
2
(
x
)
)
,
d
o
m
f
=
d
o
m
f
1
∩
d
o
m
f
2
f(x)=max(f_1(x),f_2(x)),domf=domf_1\cap domf_2
f(x)=max(f1(x),f2(x)),domf=domf1∩domf2仍为凸函数。
证明: f ( θ x + ( 1 − θ ) y ) = m a x ( f ( θ x + ( 1 − θ ) y ) ≤ m a x ( θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f 2 ( y ) ) = θ m a x ( f 1 ( x ) , f 2 ( x ) ) + ( 1 − θ ) m a x ( f 1 ( y ) , f 2 ( y ) ) = θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)=max(f(\theta x+(1-\theta)y) \leq max(\theta f_1(x)+(1-\theta)f_1(y),\theta f_2(x)+(1-\theta)f_2(y)) =\theta max(f_1(x),f_2(x))+(1-\theta)max(f_1(y),f_2(y))=\theta f(x)+(1-\theta)f(y) f(θx+(1−θ)y)=max(f(θx+(1−θ)y)≤max(θf1(x)+(1−θ)f1(y),θf2(x)+(1−θ)f2(y))=θmax(f1(x),f2(x))+(1−θ)max(f1(y),f2(y))=θf(x)+(1−θ)f(y)
14. 单调性
15.凸性与单调性
上式通常写作:
∇
2
f
≥
γ
I
\nabla^2f\geq\gamma I
∇2f≥γI,凸和严格凸对应着
∇
2
f
≥
0
,
∇
2
f
>
0
\nabla^2f\geq0,\nabla^2f>0
∇2f≥0,∇2f>0
举例:
16.拟凸函数
函数
f
:
R
n
→
R
f:R^n\to R
f:Rn→R称为拟凸函数(单峰函数),若其定义域及所有下水平集
S
α
=
{
x
∈
d
o
m
f
∣
f
(
x
)
≤
α
}
,
α
∈
R
S_\alpha=\{x\in domf|f(x)\leq \alpha\},\alpha\in R
Sα={x∈domf∣f(x)≤α},α∈R都是凸集。若函数拟凹则
−
f
-f
−f一定拟凸,(拟凹)及所有上水平及均凸。
注:拟凸与凸无任何关系,拟凸函数未必凸,甚至可能不连续。
拟线性函数:既拟凸又拟凹