不等式

符号说明

矩阵$A\in {\mathbb{R}}^{m\times n}$
$\Vert A\Vert$：矩阵$A$的谱范数
$\Vert A{\Vert }_{\ast }$: 矩阵$A$的核范数
$\Vert A{\Vert }_F$: 矩阵$A$的F范数
$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}()$表示矩阵的秩。

[Jensen’s inequality]

$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$

如果$f:{\mathbb{R}}^n\to \mathbb{R}$为凸函数，$\theta \in [0,1]$，$x,y\in \mathrm{d}\mathrm{o}\mathrm{m}f$那么：
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$
实际上，上述为凸函数的定义，为比较一般的Jensen’s inequality。

$f({\theta }_1{x}_1+\dots +{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+\dots +{\theta }_{k}f(x_k)$

如果$f:{\mathbb{R}}^n\to \mathbb{R}$为凸函数，${\theta }_i\in [0,1],\sum _{i=1}^k{\theta }_i=1$，$x_1,\dots ,x_k\in \mathrm{d}\mathrm{o}\mathrm{m}f$那么：
$$f({\theta }_1{x}_1+\dots +{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+\dots +{\theta }_{k}f(x_k)$$
证：假设${\theta }_1=0或者1$时，不等式是一定成立的，所以假设${\theta }_1\in (0,1)$。
令$\theta ={\theta }_1,{\theta }^{\prime }=1-\theta$,$x=x_1,{\theta }^{\prime }y={\theta }_2{x}_2+\dots +{\theta }_k{x}_k$，根据凸函数的定义可得：
$$f(\theta x+{\theta }^{\prime }y)\le \theta f(x)+{\theta }^{\prime }f(y)$$
$\sum _{i=2}^k{\theta }_i/{\theta }^{\prime }=1$，所以，同样满足条件，所以通过数学归纳法即可证明上述等式。

$f({\int }_{S}p(x)x\mathrm{d}x)\le {\int }_{S}f(x)p(x)\mathrm{d}x$

如果在$S\subseteq \mathrm{d}\mathrm{o}\mathrm{m}f$上，$p(x)\ge 0$,且${\int }_{S}p(x)\mathrm{d}x=1$，则当相应的积分存在时：
$$f({\int }_{S}p(x)x\mathrm{d}x)\le {\int }_{S}f(x)p(x)\mathrm{d}x$$

试证（注意，是试证）：
令${\theta }_i=p(x_i)\Delta x_i，i=1,2,\dots ,k$，且满足$\sum _{i=1}^k{\theta }_i=1$(这个性质至少在p(x)是连续函数的时候是能够满足的)，那么根据第二形态Jensen’s inequality可以得到:
$$f(\sum _{i=1}^{k}p(x_i)\Delta x_i{x}_i)\le \sum _{i=1}^{k}p(x_i)\Delta x_{i}f(x_i)$$
令$\max |\Delta x_i|\to 0$即可得积分形式不等式(当然，里面含有一个极限和函数互换的东西，因为凸函数一定是连续函数，所以这个是可以互换的，应该没弄错)。

$f(\mathrm{E}x)\le \mathrm{E}(f(x))$

如果$x$是随机变量，事件$x\in \mathrm{d}\mathrm{o}\mathrm{m}f$发生的概率为1，函数$f$为凸函数，且相应的期望存在时：
$$f(\mathrm{E}x)\le \mathrm{E}(f(x))$$
证：
令$S=domf$，随机变量$x$的概率密度函数为$p(x)$,则${\int }_{S}p(x)=1$，于是，根据积分形式的Jensen’s inequality即可得：
$$f(\mathrm{E}x)\le \mathrm{E}(f(x))$$

[Young’s inequality] $ab\le \frac{a^p}{p}+\frac{b^q}{q}$

Young’s inequality-wiki

设$p,q\in [1,+\infty )$且均为实数，满足：
$$\frac{1}{p}+\frac{1}{q}=1$$
若$a,b>0$亦为实数，那么：
$$ab\le \frac{a^p}{p}+\frac{b^q}{q}$$

证1：

对于$x\in {\mathbb{R}}^{+},\alpha \in (0,1)$,有$x^{\alpha }\le 1+\alpha (x-1)$(因为$x^{\alpha }$为凹函数，而不等式右边是在点$(1,1)$的切线)。令$x=b/a,\alpha =1/q$ ,可得：
$$a^{1/p}{b}^{1/q}\le \frac{a}{p}+\frac{b}{q}$$
令$a:=a^p,b:=b^q$，代入即可得，另外$a,b=0$的时候不等式必成立，结果得证。

证2：
考察$Oxy$平面上由方程$y=x^{p-1}$所定义的曲线，它也可以表示为$x=y^{\frac{1}{p-1}}=y^{q-1}$,作积分得：
$$\begin{gathered} S_1={\int }_0^{a}y\mathrm{d}x={\int }_0^a{x}^{p-1}\mathrm{d}x=\frac{a^p}{p} \\ {S}_2={\int }_0^{b}x\mathrm{d}y={\int }_0^a{y}^{q-1}\mathrm{d}y=\frac{b^q}{q} \end{gathered}$$
显然：
$$ab\le S_1+S_2=\frac{a^p}{p}+\frac{b^q}{q}$$
只有当$b^q=a^p$的时候，不等式才得以成立，证毕。

[Holder’s inequality] $\Vert xy{\Vert }_1\le \Vert x{\Vert }_p\Vert y{\Vert }_q$

Holder’s inequality-wiki

离散形式

设$p,q\in [1,+\infty )$,且$\frac{1}{p}+\frac{1}{q}=1$,$x,y\in C^n$,其中$C$表示复数域，则：
$$\Vert xy{\Vert }_1=\sum _{i=1}^n|x_i{y}_i|\le (\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|y_i{|}^q{)}^{\frac{1}{q}}=\Vert x{\Vert }_p\Vert y{\Vert }_q$$
注意，$m\times n$的矩阵可以看成是$mn$维的向量。

证：
令
$$a_k=\frac{|x_k|}{(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}},b_k=\frac{|y_k|}{(\sum _{i=1}^n|y_i{|}^q{)}^{\frac{1}{q}}}$$
则有$\sum _{k=1}^n{a}_k^p=1,{\sum }_{k=1}^n{b}_k^q=1$,由杨不等式$a_k{b}_k\le \frac{a_k^p}{p}+\frac{b_k^q}{q}$求和，得
$$\sum _{k=1}^n{a}_k{b}_k\le \frac{\sum _{k=1}^n{a}_k^p}{p}+\frac{\sum _{k=1}^n{b}_k^q}{q}=\frac{1}{p}+\frac{1}{q}=1$$
即
$$\frac{\sum _{i=1}^n|x_i||y_i|}{(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|y_i{|}^q{)}^{\frac{1}{q}}}\le 1$$
所以得证。
另外需要一提的是$n\to +\infty$，且右端俩式收敛，则这个式子也对于$n\to +\infty$也可成立。

积分形式

设$p,q\in [1,+\infty )$,且$\frac{1}{p}+\frac{1}{q}=1$,$x(t),y(t),t\in [t_0,t_1]$，且
$${\int }_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t,[{\int }_{t_0}^{t_1}|x(t){|}^p\mathrm{d}t{]}^{\frac{1}{p}},[{\int }_{t_0}^{t_1}|y(t){|}^q\mathrm{d}t{]}^{\frac{1}{q}}$$
均存在,则
$${\int }_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t\le [{\int }_{t_0}^{t_1}|x(t){|}^p\mathrm{d}t{]}^{\frac{1}{p}}[{\int }_{t_0}^{t_1}|y(t){|}^q\mathrm{d}t{]}^{\frac{1}{q}}$$

证：
令
$$a=\frac{|x(t)|}{[{\int }_{t_0}^{t_1}|x(t){|}^p\mathrm{d}t{]}^{\frac{1}{p}}},b=\frac{|y(t)|}{[{\int }_{t_0}^{t_1}|y(t){|}^q\mathrm{d}t{]}^{\frac{1}{q}}}$$
则有${\int }_{t_0}^{t_1}{a}^p\mathrm{d}t=1,{\int }_{t_0}^{t_1}{b}^q\mathrm{d}t=1$,并由杨不等式$ab\le \frac{a^p}{p}+\frac{b^q}{q}$并积分可得：
$${\int }_{t_0}^{t_1}ab\mathrm{d}t\le 1$$
即
$${\int }_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t\le [{\int }_{t_0}^{t_1}|x(t){|}^p\mathrm{d}t{]}^{\frac{1}{p}}[{\int }_{t_0}^{t_1}|y(t){|}^q\mathrm{d}t{]}^{\frac{1}{q}}$$
证毕。

[trace-nuclear] $\mathrm{T}\mathrm{r}(A^{T}B)\le \Vert A\Vert \Vert B{\Vert }_{\ast }$

证明：
根据$\Vert B{\Vert }_{\ast }$的对偶定义：
∥ B ∥ ∗ = sup ⁡ { T r ( A T B ) ∣ ∥ A ∥ ≤ 1 } = sup ⁡ { T r ( A T B ) ∣ ∥ A ∥ = 1 } ⇒ α ∥ B ∥ ∗ ≥ α T r ( ( A T B ) ) , ∥ A ∥ = 1 \|B\|_* = \sup \{\mathrm{Tr}(A^TB)| \|A\| \le 1\} = \sup \{\mathrm{Tr}(A^TB)| \|A\| = 1\} \\ \Rightarrow \alpha \|B\|_* \ge \alpha\mathrm{Tr}((A^TB)), \|A\| =1 ∥B∥∗​=sup{Tr(ATB)∣∥A∥≤1}=sup{Tr(ATB)∣∥A∥=1}⇒α∥B∥∗​≥αTr((ATB)),∥A∥=1
令$A:=\alpha A$代之，则$\Vert A\Vert =\alpha$
$$\Vert A\Vert \Vert B{\Vert }_{\ast }\ge \mathrm{T}\mathrm{r}(A^{T}B)$$
因为$B$是任意的，所以不等式对任意的$A,B$都成立（当然前提是能做矩阵的乘法).

[算术-几何平均不等式] $a^{\theta }{b}^{1-\theta }\le \theta a+(1-\theta )b$

如果$a,b\ge 0$，$\theta \in [0,1]$，那么
$$a^{\theta }{b}^{1-\theta }\le \theta a+(1-\theta )b$$
$\theta =1/2$时，$\sqrt{ab}\le (a+b)/2$

证1：因为$-\log x$为定义在$(0,+\infty )$上的凸函数，根据[Jensen’s inequality]可得：
$$-\log (\theta a+(1-\theta )b)\le -\theta \log (a)-(1-\theta )\log (b)$$
俩边取指数可得：
$$(\theta a+(1-\theta )b{)}^{-1}\le (a^{\theta }{b}^{(1-\theta )}{)}^{-1}$$
所以
$$a^{\theta }{b}^{1-\theta }\le \theta a+(1-\theta )b$$

证2：
根据[Young’s inequality]可得：
$$ab\le \frac{a^p}{p}+\frac{b^q}{q}$$
令$a=a^{\theta },b=b^{1-\theta }$,$p=1/\theta ,q=1/(1-\theta )$，$p,q$满足条件，所以：
$$a^{\theta }{b}^{1-\theta }\le \theta a+(1-\theta )b$$

[Gibb’s inequality] $-\sum _{i=1}^n{p}_i\log p_i\le -\sum _{i=1}^n{p}_i\log q_i$

假设 P = { p 1 , … , p n } , Q = { q 1 , … , q n } P=\{p_1, \ldots, p_n\}, Q=\{q_1, \ldots, q_n\} P={p1​,…,pn​},Q={q1​,…,qn​}分别为一个概率分布, 那么有下列不等式成立:
$$-\sum _{i=1}^n{p}_i\log p_i\le -\sum _{i=1}^n{p}_i\log q_i$$
等价于:
$$\sum _{i=1}^n{p}_i\log p_i\ge \sum _{i=1}^n{p}_i\log q_i$$
亦等价于:
$$-\sum _{i=1}^n{p}_i\log \frac{p_i}{q_i}\le 0$$
当且仅当$p_i=q_i$时等式成立.

这意味着是KL散度:
$$D(P\Vert Q)=-\sum _{i=1}^n{p}_i\ln \frac{q_i}{p_i}\ge 0$$

wiki

证1:

因为$\log a=\frac{\ln a}{\ln 2}$, 所以我们简单证明$\ln$的不等式即可.
用$I$表示$p_i>0$的指示集，又$\ln x\le x-1,x>0$, 故:
$$-\sum _{i\in I}{p}_i\ln \frac{q_i}{p_i}\ge -\sum _{i\in I}{p}_i(\frac{q_i}{p_i}-1)=-\sum _{i\in I}{q}_i+1\ge 0$$
经过延拓$0\ln 0=0$, 则上式成立， 又$x=1$的时候$\ln x=x-1$， 所以$p_i=q_i,i\in I$, 又因为${\sum }_{i\in I}{p}_i=1$, 所以${\sum }_{i\in I}{q}_i=1$, 所以$p_i=q_i=0,i\notin I$, 故$p_i=q_i,i=1,2,\dots ,n$

证2:

因为$-\log$严格凸，所以利用[Jensen’ inequality]可以得到:
$$\sum _i{p}_i\log \frac{q_i}{p_i}\le \log \sum _i{p}_i\frac{q_i}{p_i}=0$$
而根据[Jensen’ inequality]等式成立的条件可以得到:
$$\frac{p_1}{q_1}=\frac{p_2}{q_2}=\cdots =\frac{p_n}{q_n}$$
且${\sum }_i{q}_i=\sum p_i=1$所以$p_i=q_i$时等式成立，$p_i=0$的情况和上面一样讨论.

自然，该不等式可以推广到积分形式：
$$D(P\Vert Q)=-\int p(x)\log \frac{q(x)}{p(x)}\mathrm{d}x\ge 0$$

[Gronwall’s inequality] $u(t)\le f(t)e^{{\int }_0^{t}h(s)\mathrm{d}s}$

假设$f$在$[0,+\infty )$上非负，单调递增, $h,u\in \mathrm{C}[0,+\infty )$,且$h$非负, 满足:
$$u(t)\le f(t)+{\int }_0^{t}h(s)u(s)\mathrm{d}s,t\ge 0,$$
则:
$$u(t)\le f(t)e^{{\int }_0^{t}h(s)\mathrm{d}s}.$$

注意:
如果
$$u(t)=f(t)+{\int }_0^{t}h(s)u(s)\mathrm{d}s,$$
并不能推出:
$$u(t)=f(t)e^{{\int }_0^{t}h(s)\mathrm{d}s}.$$
但是当$f(t)\equiv C_0\ge 0$的时候， 是有此类性质的(可用类似证1的方法证明).

证1:

记: $w(t)={\int }_0^{t}h(s)u(s)\mathrm{d}s$, 则$w(0)=0$, $w^{\prime }(t)=h(t)u(t)$, 可得:
$$w^{\prime }(t)=h(t)u(t)\le h(t)f(t)+h(t)w(t).$$
即:
$$w^{\prime }(t)-h(t)w(t)\le h(t)f(t).$$
记$H(t)={\int }_0^{t}h(s)\mathrm{d}s$, 则$H(0)=0,H^{\prime }(t)=h(t)$.
俩边同乘以$e^{-H(t)}$，不改变符号:
$$e^{-H(t)}(w^{\prime }(t)-h(t)w(t))=(e^{-H(t)}w(t){)}^{\prime }\le e^{-H(t)}h(t)f(t),$$
俩边是同时在$[0,t]$上积分得:
$$w(t)\le e^{H(t)}{\int }_0^t{e}^{-H(s)}h(s)f(s)\mathrm{d}s.$$
注意到(因为$f(t)$单增, 且积分内部为非负):
$${\int }_0^t{e}^{-H(s)}h(s)f(s)\mathrm{d}s\le {\int }_0^t{e}^{-H(s)}h(s)\mathrm{d}sf(t)=-e^{-H(s)}{|}_0^{t}f(t)=(1-e^{-H(t)})f(t),$$
所以:
$$u(t)\le f(t)+w(t)\le e^{H(t)}f(t).$$
证毕.

证2($u$需非负):

$$\begin{array}{ll}u(t)& \le f(t)+{\int }_0^{t}h(s)u(s)\mathrm{d}s\\ & \le f(t)+ϵ+{\int }_0^{t}h(s)u(s)\mathrm{d}s,ϵ>0.\end{array}$$
则:
$$\frac{h(t)u(t)}{f(t)+ϵ+{\int }_0^{t}h(s)u(s)\mathrm{d}s}\le h(t)$$
俩边在$[0,t]$上积分:
$${\int }_0^t\frac{h(s)u(s)}{f(s)+ϵ+{\int }_0^{s}h(\tau )u(\tau )\mathrm{d}\tau }\mathrm{d}s\le {\int }_0^{t}h(s)\mathrm{d}s$$
注意，因为$f(t)$是单增的，所以$s\in [0,t]$时:
$$\frac{h(s)u(s)}{f(s)+ϵ+{\int }_0^{s}h(\tau )u(\tau )\mathrm{d}\tau }\ge \frac{h(s)u(s)}{f(t)+ϵ+{\int }_0^{s}h(\tau )u(\tau )\mathrm{d}\tau }\ge 0,$$
所以:
$${\int }_0^t\frac{h(s)u(s)}{f(t)+ϵ+{\int }_0^{s}h(\tau )u(\tau )\mathrm{d}\tau }\mathrm{d}s=\ln \frac{f(t)+ϵ+{\int }_0^{t}h(s)u(s)\mathrm{d}s}{f(t)+ϵ}\le {\int }_0^{t}h(s)\mathrm{d}s,$$
所以:
$$f(t)+ϵ+{\int }_0^{t}h(s)u(s)\mathrm{d}s\le e^{H(t)}(f(t)+ϵ),$$
其中$H(t)={\int }_0^{t}h(s)\mathrm{d}s$.
俩边令$ϵ\to 0$得:
$$u(t)\le f(t)+{\int }_0^{t}h(s)u(s)\mathrm{d}s\le e^{H(t)}f(t).$$
证毕.

证3:

令$M(T)=\underset{0\le t\le T}{\max }{\int }_0^{t}h(s)u(s)\mathrm{d}s$,
则:
$$\begin{gathered} u(t)\le f(t)+M(T) \\ \Rightarrow h(t)u(t)\le h(t)f(t)+M(T)h(t), \end{gathered}$$
于是:
$$u(t)\le f(t)+{\int }_0^{t}h(s)f(s)+M(T)h(s)\mathrm{d}s.$$
因为$f(t)$单增, 所以:
$${\int }_0^{t}h(s)f(s)\mathrm{d}s\le f(t){\int }_0^{t}h(s)\mathrm{d}s.$$
记$H(t)={\int }_0^{t}h(s)\mathrm{d}s$, 可得:
$$\begin{gathered} u(t)\le f(t)(1+H(t))+H(t)M(T) \\ \Rightarrow h(t)u(t)\le f(t)h(t)(1+H(t))+h(t)H(t)M(T). \end{gathered}$$
于是:
$$u(t)\le f(t)+{\int }_0^{t}f(s)h(s)(1+H(s))+h(s)H(s)M(T)\mathrm{d}s.$$
注意到:
$${\int }_0^{t}H(s)h(s)\mathrm{d}s=\frac{H^2(t)-H^2(0)}{2}=\frac{H^2(t)}{2}.$$
所以:
$$u(t)\le f(t)(1+H(t)+\frac{H^2(t)}{2!})+\frac{H^2(t)M(T)}{2!}.$$
重复此类操作可得:
$$u(t)\le f(t)(1+H(t)+\frac{H^2(t)}{2!}+...+\frac{H^n(t)}{n!})+\frac{H^n(t)M(T)}{n!}.$$
令$n\to +\infty$:
$$u(t)\le f(t)e^{H(t)}+0.$$
证毕.
注:
最后这部分也可以利用:
$$1+t+\dots +\frac{t^n}{n!}\le e^t,t\ge 0$$
来证明, 但是我觉得如果是俩边取极限，那就不必考虑$t$得正负问题了，虽然多此一举，但是更酷啊.

[$C_p$ inequality] $(|a|+|b|{)}^p\le C_p(|a{|}^p+|b{|}^p)$

假设$a,b$为实数，$p>0$, 则
$$(|a|+|b|{)}^p\le C_p(|a{|}^p+|b{|}^p),$$
其中
$$C_p=\{\begin{array}{ll}1,& 0<p\le 1,\\ 2^{p-1},& p>1.\end{array}$$

证明:

$0<p\le 1$: 考虑函数$f(x)=(1+x{)}^p-x^p-1,x\ge 0$, 其导数为
$$f^{\prime }(x)=p[(x+1{)}^{p-1}-x^{p-1}]<0,$$
则$f(x)$在$[0,+\infty )$上单调递减，由$f(0)=0$, 所以$f(x)\le 0$. 代入$|b|/|a|(a\ne 0)$即得:
$$(|a|+|b|{)}^p\le C_p(|a{|}^p+|b{|}^p),$$
显然，$a=0$时也成立.

$p>1$: 考虑凸函数$|x{|}^p$可得:
$$(\frac{|a|+|b|}{2}{)}^p\le \frac{1}{2}(|a{|}^p+|b{|}^p),$$
证毕.