上下界（Upper/ Lower Bound）证明

---

上下界证明的方法

1.求解最大值&最小值

2.求极值逼近

3.不等式逼近

---

常用不等式

基本不等式

公式：1. $\sqrt{ab}\le \frac{a+b}{2}$，当且仅当时取等号
变形：

1. $2\sqrt{ab}\le a+b$ （当且仅当时取等号）
2. $2\le \frac{a}{b}+\frac{b}{a}$（a, b同号）
3. $ab\le (\frac{a+b}{2}{)}^2\le \frac{a^2+b^2}{2}$ （$a,b\in R$）

---

二元均值不等式

$\frac{2}{\frac{1}{a}+\frac{1}{b}}\le \sqrt{ab}\le \frac{a+b}{2}\le \sqrt{\frac{a^2+b^2}{2}}$
（调和均值≤几何均值≤算术均值≤平方均值）当且仅当a=b时等号成立

---

常用不等式

$\frac{1}{2}(a^2+b^2)\le a^2+b^2$
$$2ab\le a^2+b^2$$ $$ab\le \frac{a^2+b^2}{2}$$ $$ab\le (\frac{a+b}{2}{)}^2$$

$2\sqrt{ab}\le a+b$ $$a+b\le \sqrt{2(a^2+b^2)}$$

---

向量范数不等式

三角不等式 （ Triangle Inequality）

$$\Vert \mathbf{A}+\mathbf{B}{\Vert }_2\le \Vert \mathbf{A}{\Vert }_2+\Vert \mathbf{B}{\Vert }_2$$ $$\Vert \mathbf{A}{\Vert }_2-\Vert \mathbf{B}{\Vert }_2\le \Vert \mathbf{A}-\mathbf{B}{\Vert }_2$$

相容性

$$\Vert \mathbf{A}\mathbf{B}{\Vert }_2\le \Vert \mathbf{A}{\Vert }_2\Vert \mathbf{B}{\Vert }_2$$

常用不等式

$${\lambda }_{\min }\le \Vert \mathbf{A}{\Vert }_2$$ $${\lambda }_{\max }\ge \Vert \mathbf{A}{\Vert }_2$$

---

矩阵范数不等式

矩阵范数的性质

1. 齐次性：$\Vert a\mathbf{A}\Vert =|a|\cdot \Vert \mathbf{A}\Vert ,(a\in \mathrm{R})$
2. 三角不等式：$\Vert \mathbf{A}+\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert +\Vert \mathbf{B}\Vert$
3. 相容性：$\Vert \mathbf{A}\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert \cdot \Vert \mathbf{B}\Vert$

常用不等式

引理1. $\forall \mathbf{A}\in {\mathbb{R}}^{n\times n}$, $\Vert \mathbf{A}\Vert \le \Vert \mathbf{A}{\Vert }_F\le \sqrt{n}\Vert \mathbf{A}\Vert$
引理2. $\forall \mathbf{A}\in {\mathbb{R}}^{n\times n}$,
$$\max \mathrm{R}\mathrm{e}[{\lambda }_i(\mathbf{A})]\le \frac{1}{2}{\lambda }_{\max }(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}}),i=1,2,...,n,$$ $$\min \mathrm{R}\mathrm{e}[{\lambda }_i(\mathbf{A})]\ge \frac{1}{2}{\lambda }_{\min }(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}}),i=1,2,...,n,$$ 其中$\mathrm{R}\mathrm{e}[{\lambda }_i(\mathbf{A})]$表示${\lambda }_i(\mathbf{A})$的实部。

定理1. $\forall \mathbf{A}\in {\mathbb{R}}^{n\times n}$,
$$1)\sum _{i=1}^n|{\lambda }_i(\mathbf{A}){|}^2\le \Vert \mathbf{A}{\Vert }_F^2=\Vert {\mathbf{A}}^{\mathrm{T}}{\Vert }_F^2$$ $$2){\lambda }_i({\mathbf{A}}^{\mathrm{T}}\mathbf{A})=\Vert {\mathbf{A}}^{\mathrm{T}}\mathbf{A}\Vert =\Vert \mathbf{A}{\Vert }^2=\Vert {\mathbf{A}}^{\mathrm{T}}{\Vert }^2.$$

优化领域的应用

引理3. 对于$\forall 退化矩阵\mathbf{W}\in {\mathbb{R}}^{n\times n}\&实对称矩阵\mathbf{E}\in {\mathbb{R}}^{n\times n}$，则下面不等式成立：
$$1){\lambda }_{\max }\le \frac{1}{2}{\lambda }_{\max }(\mathbf{W}\mathbf{E}{\mathbf{W}}^{-1}+(\mathbf{W}\mathbf{E}{\mathbf{W}}^{-1}{)}^{\mathrm{T}})$$ $$1){\lambda }_{\min }\le \frac{1}{2}{\lambda }_{\min }(\mathbf{W}\mathbf{E}{\mathbf{W}}^{-1}+(\mathbf{W}\mathbf{E}{\mathbf{W}}^{-1}{)}^{\mathrm{T}})$$

定理3. 对于$\forall 非退化矩阵\mathbf{W}\in {\mathbb{R}}^{\mathbf{n}\times \mathbf{n}}\&实对称矩阵\mathbf{E}\in {\mathbb{R}}^{\mathbf{n}\times \mathbf{n}}$，则下面不等式成立：
$$1)\Vert \mathbf{E}\Vert \le \frac{1}{2}\Vert \mathbf{P}\mathbf{E}{\mathbf{P}}^{-1}+(\mathbf{P}\mathbf{E}{\mathbf{P}}^{-1}{)}^{\mathrm{T}}\Vert$$ $$2)\Vert \mathbf{E}{\Vert }_F\le \frac{1}{2}\Vert \mathbf{P}\mathbf{E}{\mathbf{P}}^{-1}+(\mathbf{P}\mathbf{E}{\mathbf{P}}^{-1}{)}^{\mathrm{T}}{\Vert }_F$$

定理4. 对于$\forall \mathbf{A}\in {\mathbb{R}}^{n\times n}$, 下面不等式成立：
$$1)\frac{1}{2}\Vert \mathbf{A}+{\mathbf{A}}^{\mathrm{T}}{\Vert }_F\le \Vert \mathbf{A}{\Vert }_F$$ $$1)\frac{1}{2}\Vert \mathbf{A}+{\mathbf{A}}^{\mathrm{T}}\Vert \le \Vert \mathbf{A}\Vert$$

---