最优化算法(1):数学基础

原文链接：最优化算法(1):数学基础 | 远行的舟

从某种程度上说，我们生活中遇到的许许多多的问题，都可以看成是一个最优化问题。例如着装打扮、选择饭店、租购房屋、旅行规划等等。如果我们能将这些问题转化为目前数学上可解的最优化模型，并且我们掌握了求解相关最优化模型的最优化算法，那么我们或许能够生活得更聪明，更舒适，也更幸福。将生活问题转化为数学模型并不容易，它或许需要敏锐的头脑，需要长期的积累，需要灵光的乍泄，但掌握求解相关最优化模型的算法则相对容易多了。

1947 年，Dantzig 提出求解一般线性规划问题的单纯形法后，最优化开始成为一门独立的学科。历经 70 多年的风雨，在电子计算机的推动下，最优化理论与算法如今已在经济计划、工程设计、生产管理、交通运输等诸多方面得到广泛应用，并已发展成为当今应用数学领域一门十分活跃的学科。

最优化问题的一般形式为：

$$\begin{array}{rl}& \min f\left(\mathbf{x}\right)\\ & \mathrm{s}.\mathrm{t}.\mathbf{x}\in X\subseteq R^n\end{array}$$

其中 $x$ 为决策变量 (decision variable)，$f\left(x\right)$ 为目标函数 (objective function)，$X$ 为约束集 (constraint set) 或可行域 (feasible region)。当 $X=R^n$ 时，称为无约束优化 (unconstrained optimization) 问题 ，否则称为约束优化 (constrained optimization) 问题。约束优化问题通常写为如下更具体的形式：

$$\begin{array}{rl}& \min f\left(\mathbf{x}\right)\\ & \mathrm{s}.\mathrm{t}.c_i\left(\mathbf{x}\right)=0,i\in E\\ & c_i\left(\mathbf{x}\right)\ge 0,i\in I\end{array}$$

$c_i\left(\mathbf{x}\right)=0,i\in E$ 为等式约束 (equality constraint)，$c_i\left(\mathbf{x}\right)\ge 0,i\in I$ 为不等式约束 (inequality constraint)，$c_i\left(\mathbf{x}\right)$ 为约束函数 (constraint function)，$E$ 和 $I$ 分别是等式约束的指标集和不等式约束的指标集。当目标函数与约束函数均为线性函数时，约束优化问题称为线性规划 (linear programming)，否则称为非线性规划 (nonlinear programming)。

本章，我们将主要介绍一些数学基础知识，为后续系统学习最优化算法打下坚实的基础，此外，我们还会对最优化算法的基本结构做个简要描述。现在，就让我们放下对数学符号的恐惧，拿起笔和纸，一起在属于 x, y 和 z 的王国里开始遨游吧。学习从来都是痛苦的过程，只有那些不惧艰险、勇于攀登的人，才能最终品尝到属于他们的、独一无二的、最甜也最美的果实。

1.1 线性代数

本节，我们介绍最优化理论中需要用到的线性代数知识，包括：范数、矩阵的逆与广义逆、矩阵的 Rayleigh 商和矩阵的秩一校正。

1.1.1 范数

范数是长度概念的推广，向量、矩阵均有范数。$R^n$ 上的向量范数 (vector norm) 是一个从 $R^n\to R$ 的映射 $\Vert \cdot \Vert$，它满足如下三个性质：

• 非负性 (Positivity)：$\Vert \mathbf{x}\Vert \ge 0,\forall \mathbf{x}\in R^n,\Vert \mathbf{x}\Vert =0\iff \mathbf{x}=0$
• 齐次性 (Homogeneity)：$\Vert \alpha \mathbf{x}\Vert =\left|\alpha \right|\Vert \mathbf{x}\Vert ,\forall \alpha \in R,\mathbf{x}\in R^n$
• 三角不等式 (Triangle inequality)：$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert ,\forall \mathbf{x},\mathbf{y}\in R^n$

向量 $\mathbf{x}={\left(x_1,x_2,\cdots ,x_n\right)}^{\prime }$ 的 $l_p$ 范数定义为：

$${\Vert \mathbf{x}\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}},1\le p<\infty$$

常用的向量范数如下所示：

• $l_1$ 范数 $\left(l_1\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{x}\Vert }_1=\sum _{i=1}^n\left|x_i\right|$$

• $l_2$ 范数 $\left(l_2\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{x}\Vert }_2={\left(\sum _{i=1}^n{x}_i^2\right)}^{\frac{1}{2}}$$

• $l_{\infty }$ 范数 $\left(l_{\infty }\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{x}\Vert }_{\infty }=\underset{1\le i\le n}{\max }\left|x_i\right|$$

• 椭球范数 $\left(\mathrm{e}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{o}\mathrm{i}\mathrm{d}\mathrm{a}\mathrm{l}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{x}\Vert }_{\mathbf{A}}={\left(x^T\mathbf{A}x\right)}^{\frac{1}{2}},{\mathbf{A}}^T=\mathbf{A},{\mathbf{A}}_{n\times n}>0$$

上述四个向量范数是等价的，这是因为它们满足如下四个不等式：

$$\begin{gathered} {\Vert \mathbf{x}\Vert }_2\le {\Vert \mathbf{x}\Vert }_1\le \sqrt{n}{\Vert \mathbf{x}\Vert }_2 \\ {\Vert \mathbf{x}\Vert }_{\infty }\le {\Vert \mathbf{x}\Vert }_2\le \sqrt{n}{\Vert \mathbf{x}\Vert }_{\infty } \\ {\Vert \mathbf{x}\Vert }_{\infty }\le {\Vert \mathbf{x}\Vert }_1\le n{\Vert \mathbf{x}\Vert }_{\infty } \\ \sqrt{{\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\mathbf{A}\right)}{\Vert \mathbf{x}\Vert }_2\le {\Vert \mathbf{x}\Vert }_{\mathbf{A}}\le \sqrt{{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(\mathbf{A}\right)}{\Vert \mathbf{x}\Vert }_2 \end{gathered}$$

其中 ${\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(\mathbf{A}\right)$ 为矩阵 $\mathbf{A}$ 的最大特征值，${\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\mathbf{A}\right)$ 为矩阵 $\mathbf{A}$ 的最小特征值。

等价范数：如果 $\exists {\mu }_1,{\mu }_2>0$ 使得 $R^n$ 上的范数 ${\Vert \cdot \Vert }_{\alpha }$ 和 ${\Vert \cdot \Vert }_{\beta }$ 满足：${\mu }_1{\Vert \mathbf{x}\Vert }_{\alpha }\le {\Vert \mathbf{x}\Vert }_{\beta }\le {\mu }_2{\Vert \mathbf{x}\Vert }_{\alpha }$，$\forall \mathbf{x}\in R^n$，则我们称 $R^n$ 上的范数 ${\Vert \cdot \Vert }_{\alpha }$ 和 ${\Vert \cdot \Vert }_{\beta }$ 是等价的。

此外，关于向量范数，还有几个重要的不等式：

• $\left|{\mathbf{x}}^T\mathbf{A}\mathbf{y}\right|\le {\Vert \mathbf{x}\Vert }_{\mathbf{A}}{\Vert \mathbf{y}\Vert }_{\mathbf{A}},{\mathbf{A}}_{n\times n}>0;\left|{\mathbf{x}}^T\mathbf{A}\mathbf{y}\right|={\Vert \mathbf{x}\Vert }_{\mathbf{A}}{\Vert \mathbf{y}\Vert }_{\mathbf{A}}\iff \mathbf{x}=c\mathbf{y},c̸=0$（待证明）
• $\left|{\mathbf{x}}^T\mathbf{y}\right|\le {\Vert \mathbf{x}\Vert }_{\mathbf{A}}{\Vert \mathbf{y}\Vert }_{{\mathbf{A}}^{-1}},{\mathbf{A}}_{n\times n}>0;\left|{\mathbf{x}}^T\mathbf{y}\right|={\Vert \mathbf{x}\Vert }_{\mathbf{A}}{\Vert \mathbf{y}\Vert }_{{\mathbf{A}}^{-1}}\iff \mathbf{x}=c{\mathbf{A}}^{-1}\mathbf{y},c̸=0$（待证明）
• Young 不等式：
  $$xy\le \frac{x^p}{p}+\frac{y^q}{q},x,y\ge 0,\frac{1}{p}+\frac{1}{q}=1,p,q>1;xy=\frac{x^p}{p}+\frac{y^q}{q}\iff x^p=y^q$$

证明：当 $x=0$ 或 $y=0$ 时，显然成立；当 $x,y>0$ 时，令 $t=\frac{1}{p}$、$1-t=\frac{1}{q}$、$a=x^p$、$b=y^q$，因为 $\ln \left(x\right)$ 是一个凹函数，所以 $\ln \left[ta+\left(1-t\right)b\right]\ge t\ln a+\left(1-t\right)\ln b$，代入 $t,1-t,a,b$，然后两边同取指数运算，即得上式。

• Holder 不等式（特例：Cauchy-Schwarz 不等式）：
  $$\left|{\mathbf{x}}^T\mathbf{y}\right|\le {\Vert \mathbf{x}\Vert }_p{\Vert \mathbf{y}\Vert }_q,\frac{1}{p}+\frac{1}{q}=1,p,q>1$$

证明：由 Young 不等式有

$$\frac{\left|x_i{y}_i\right|}{{\Vert x\Vert }_p{\Vert y\Vert }_q}\le \frac{1}{p}{\left(\frac{\left|x_i\right|}{{\Vert x\Vert }_p}\right)}^p+\frac{1}{q}{\left(\frac{\left|x_i\right|}{{\Vert x\Vert }_q}\right)}^q$$
上述不等式两边关于 $i$ 求和得

$$\frac{1}{{\Vert x\Vert }_p{\Vert y\Vert }_q}\sum _{i=1}^n\left|x_i{y}_i\right|\le \frac{1}{p{\Vert x\Vert }_p^p}\sum _{i=1}^n{\left|x_i\right|}^p+\frac{1}{q{\Vert y\Vert }_q^q}\sum _{i=1}^n{\left|y_i\right|}^q=\frac{1}{p}+\frac{1}{q}=1$$
两边同乘 ${\Vert x\Vert }_p{\Vert y\Vert }_q$ 即得结果。

• Minkowski 不等式（范数定义中的第 3 条性质）：
  $${\Vert \mathbf{x}+\mathbf{y}\Vert }_p\le {\Vert \mathbf{x}\Vert }_p+{\Vert \mathbf{y}\Vert }_p,p\ge 1$$

证明：当 $x=0$ 或 $y=0$ 时，显然成立；当 $x,y>0$ 时，令 $t=\frac{{\Vert x\Vert }_p}{{\Vert x\Vert }_p+{\Vert y\Vert }_p}$、$1-t=\frac{{\Vert y\Vert }_p}{{\Vert x\Vert }_p+{\Vert y\Vert }_p}$、$a=\frac{|x_i|}{{\Vert x\Vert }_p}$、$b=\frac{|y_i|}{{\Vert y\Vert }_p}$。因为 $x^p,x>0$ 是凸函数，所以有 ${\left[ta+\left(1-t\right)b\right]}^p\le t{a}^p+\left(1-t\right)b^p$，代入 $t,1-t,a,b$，然后两边同时对 $i$ 求和，可得

$$\sum _{i=1}^n{\left(\frac{\left|x_i\right|+\left|y_i\right|}{{\Vert x\Vert }_p+{\Vert y\Vert }_p}\right)}^p\le 1$$
所以

$$\sum _{i=1}^n{\left(\frac{\left|x_i+y_i\right|}{{\Vert x\Vert }_p+{\Vert y\Vert }_p}\right)}^p\le \sum _{i=1}^n{\left(\frac{\left|x_i\right|+\left|y_i\right|}{{\Vert x\Vert }_p+{\Vert y\Vert }_p}\right)}^p\le 1$$
不等号两边同取 $p$ 次根，然后经恒等变换即得结果。

矩阵范数是向量范数的自然推广，$R^{m\times n}$ 上的矩阵可视为 $R^{mn}$ 中的向量。$R^{m\times n}$ 上的矩阵范数 (matrix norm) 是一个从 $R^{mn}\to R$ 的映射 $\Vert \cdot \Vert$，它满足如下三个性质：

• 非负性：$\Vert \mathbf{A}\Vert \ge 0,\forall \mathbf{A}\in R^{m\times n},\Vert \mathbf{A}\Vert =0\iff \mathbf{A}=\mathbf{O}$，$\mathbf{O}$ 为一个零矩阵
• 齐次性：$\Vert \alpha \mathbf{A}\Vert =\left|\alpha \right|\Vert \mathbf{A}\Vert ,\forall \alpha \in R,\mathbf{A}\in R^{m\times n}$
• 三角不等式：$\Vert \mathbf{A}+\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert +\Vert \mathbf{B}\Vert ,\forall \mathbf{A},\mathbf{B}\in R^{m\times n}$

如果 $\forall \mathbf{A}\in R^{m\times n},\mathbf{x}\in R^n$ 有：

$$\Vert \mathbf{A}\mathbf{x}\Vert \le \Vert \mathbf{A}\Vert \Vert \mathbf{x}\Vert$$

我们称该矩阵范数可由向量范数导出，或与向量范数兼容，诱导 (矩阵) 范数（induced norm）因此定义为（为什么 $\begin{array}{r}\Vert {\mathbf{A}}^{-1}\Vert =1/\underset{\Vert \mathbf{x}\Vert =1}{\min }\Vert \mathbf{A}\mathbf{x}\Vert \end{array}$）：

$$\Vert \mathbf{A}\Vert =\underset{\mathbf{x}̸=0}{\max }\frac{\Vert \mathbf{A}\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=\underset{\Vert \mathbf{x}\Vert =1}{\max }\Vert \mathbf{A}\mathbf{x}\Vert$$

显然，上式给出的诱导范数的定义满足条件 $\Vert \mathbf{A}\mathbf{x}\Vert \le \Vert \mathbf{A}\Vert \Vert \mathbf{x}\Vert$，但要保证上式定义的合理性，$f\left(\mathbf{x}\right)=\Vert \mathbf{A}\mathbf{x}\Vert$ 在 D = { x ∈ R n : ∥ x ∥ = 1 } D = \left \{\boldsymbol{x} \in R^n: \left \| \boldsymbol{x} \right \| = 1 \right \} D={ x∈Rn:∥x∥=1} 上必须存在最大值。根据向量范数的连续性，以及有界闭集上的连续函数必有最大最小值的定理，我们可以知道上述定义是合理的。

如果对 $n\times n$ 正交矩阵 $\mathbf{U}$ 有 $\Vert \mathbf{U}\mathbf{A}\Vert =\Vert \mathbf{A}\Vert$，则称 $\Vert \cdot \Vert$ 为正交不变范数。常用的矩阵范数如下所示：

• $l_1$ 诱导范数 / 列和范数 $\left(l_1\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{u}\mathrm{c}\mathrm{e}\mathrm{d}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{A}\Vert }_1=\underset{j}{\max }{\Vert {\mathbf{a}}_j\Vert }_1=\underset{j}{\max }\sum _{i=1}^n\left|a_{ij}\right|$$

• $l_2$ 诱导范数 / 谱范数 $\left(l_2\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{u}\mathrm{c}\mathrm{e}\mathrm{d}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}/\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{l}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{A}\Vert }_2=\sqrt{{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left({\mathbf{A}}^T\mathbf{A}\right)}$$

• $l_{\infty }$ 诱导范数 / 行和范数 $\left(l_{\infty }\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{u}\mathrm{c}\mathrm{e}\mathrm{d}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{A}\Vert }_{\infty }=\underset{i}{\max }{\Vert {\mathbf{a}}_i\Vert }_1=\underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$

• Frobenius 范数 $\left(\mathrm{F}\mathrm{r}\mathrm{o}\mathrm{b}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{u}\mathrm{s}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}\right)$:

  $${\Vert \mathbf{A}\Vert }_F={\left(\sum _{i=1}^n\sum _{j=1}^n{\left|a_{ij}\right|}^2\right)}^{\frac{1}{2}}=\sqrt{\mathrm{t}\mathrm{r}\left({\mathbf{A}}^T\mathbf{A}\right)}$$

• 这里 ${\mathbf{a}}_j$ 为矩阵 $\mathbf{A}$ 的第 $j$ 列构成的向量，${\mathbf{a}}_i$ 为矩阵 $\mathbf{A}$ 的第 $i$ 行构成的向量，${\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}\left({\mathbf{A}}^T\mathbf{A}\right)$ 为矩阵 ${\mathbf{A}}^T\mathbf{A}$ 的最大特征值，$\mathrm{t}\mathrm{r}\left({\mathbf{A}}^T\mathbf{A}\right)$ 为矩阵 ${\mathbf{A}}^T\mathbf{A}$ 的迹（主对角线上元素的和）

上述常用矩阵范数中，谱范数和 Frobenius 范数为正交不变范数。此外，上述常用矩阵范数均满足相容性条件：

$$\Vert \mathbf{A}\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert \Vert \mathbf{B}\Vert ,\forall \mathbf{A},\mathbf{B}\in R^{n\times n}$$

且有（为什么成立）：

∥ A B ∥ F ≤ min ⁡ { ∥ A ∥ 2 ∥ B ∥ F , ∥ A ∥ F ∥ B ∥ 2 } ,   ∀   A , B ∈ R n × n \left \| \boldsymbol{AB} \right \|_F \leq \min \left \{ \left \| \boldsymbol{A} \right \|_2 \left \| \boldsymbol{B} \right \|_F,\left \| \boldsymbol{A} \right \|_F \left \| \boldsymbol{B} \right \|_2 \right \},\ \forall \ \boldsymbol{A},\boldsymbol{B} \in R^{n\times n} ∥AB∥F​≤min{ ∥A∥2​∥B∥F​,∥A∥F​∥B∥2​}, ∀ A,B∈Rn×n

在本节最后，我们给出 $l_1$ 诱导范数、$l_2$ 诱导范数和 $l_{\infty }$ 诱导范数的证明过程

$l_1$ 诱导范数的证明如下：

$$\begin{gathered} \begin{array}{rl}& \because {\Vert \mathbf{A}\mathbf{x}\Vert }_1=\sum _{i=1}^m\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|\le \sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}\right|\left|x_j\right|=\sum _{j=1}^n\sum _{i=1}^m\left|a_{ij}\right|\left|x_j\right|\\ & \le \left(\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|\right)\sum _{j=1}^n\left|x_j\right|=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|{\Vert \mathbf{x}\Vert }_1\end{array} \\ \therefore {\Vert \mathbf{A}\Vert }_1=\underset{\mathbf{x}̸=0}{\max }\frac{{\Vert \mathbf{A}\mathbf{x}\Vert }_1}{{\Vert \mathbf{x}\Vert }_1}=\underset{{\Vert \mathbf{x}\Vert }_1=1}{\max }{\Vert \mathbf{A}\mathbf{x}\Vert }_1\le \underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|\cdots \left(1\right) \end{gathered}$$
取 ${\mathbf{x}}^{(\mathbf{j})}=(0,\cdots ,1,\cdots ,0),j=1,2,\cdots ,n$，它是除第 $j$ 个元素为 $1$、其余元素全为 $0$ 的向量，则有

$${\Vert \mathbf{A}\Vert }_1=\underset{\mathbf{x}̸=0}{\max }\frac{{\Vert \mathbf{A}\mathbf{x}\Vert }_1}{{\Vert \mathbf{x}\Vert }_1}=\underset{{\Vert \mathbf{x}\Vert }_1=1}{\max }{\Vert \mathbf{A}\mathbf{x}\Vert }_1\ge \underset{{\mathbf{x}}^{(j)}}{\max }{\Vert \mathbf{A}\mathbf{x}\Vert }_1=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|\cdots \left(2\right)$$
由 $\left(1\right)$、$\left(2\right)$ 两式知

$${\Vert \mathbf{A}\Vert }_1=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$

$l_2$ 诱导范数的证明如下：

设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 为对称半正定矩阵 $A^{T}A$ 的与特征值 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$ 相对应的相互正交的特征向量，则 $\forall \mathbf{x}=1$ 的向量 $\mathbf{x}$，必存在满足条件 $c_1^2+c_2^2+\cdots +c_n^2=1$ 的 $c_1,c_2,\cdots ,c_n$ 使得 $\mathbf{x}=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\cdots +c_n{\mathbf{x}}_n$。所以有：

  ∥ A x ∥ 2 2 = ( A x ) T A x = x T A T A x = ( c 1 x 1 + c 2 x 2 + ⋯ + c n x n ) T A T A ( c 1 x 1 + c 2 x 2 + ⋯ + c n x n ) = ( c 1 x 1 + c 2 x 2 + ⋯ + c n x n ) T ( c 1 A T A x 1 + c 2 A T A x 2 + ⋯ + c n A T A x n ) = ( c 1 x 1 + c 2 x 2 + ⋯ + c n x n ) T ( c 1 λ 1 x 1 + c 2 λ 2 x 2 + ⋯ + c n λ n x n ) = ( c 1 x 1 T + c 2 x 2 T + ⋯ + c n x n T ) ( c 1 λ 1 x 1 + c 2 λ 2 x 2 + ⋯ + c n λ n x n ) = ∑ i = 1 n ∑ j = 1 n λ i λ j c i c j x i T x j = ∑ i = 1 n λ i c i 2 ≤ λ 1 ∑ i = 1 n c i 2 = λ 1 ⋯ ( 3 ) \begin{aligned} &amp;\ \left \| \boldsymbol{Ax} \right \|_2^2 = \left ( \boldsymbol{Ax} \right )^T \boldsymbol{Ax} = \boldsymbol{x}^T\boldsymbol{A}^T\boldsymbol{A}\boldsymbol{x} \\ &amp;= \left ( c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2+\cdots+c_n\boldsymbol{x}_n \right )^T\boldsymbol{A}^T\boldsymbol{A}\left ( c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2+\cdots+c_n\boldsymbol{x}_n \right ) \\ &amp;= \left ( c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2+\cdots+c_n\boldsymbol{x}_n \right )^T\left ( c_1\boldsymbol{A}^T\boldsymbol{A}\boldsymbol{x}_1+c_2\boldsymbol{A}^T\boldsymbol{A}\boldsymbol{x}_2+\cdots+c_n\boldsymbol{A}^T\boldsymbol{A}\boldsymbol{x}_n \right ) \\ &amp;= \left ( c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2+\cdots+c_n\boldsymbol{x}_n \right )^T\left ( c_1\lambda_1\boldsymbol{x}_1+c_2\lambda_2\boldsymbol{x}_2+\cdots+c_n\lambda_n\boldsymbol{x}_n \right )\\ &amp;= \left ( c_1\boldsymbol{x}_1^T+c_2\boldsymbol{x}_2^T+\cdots+c_n\boldsymbol{x}_n^T \right )\left ( c_1\lambda_1\boldsymbol{x}_1+c_2\lambda_2\boldsymbol{x}_2+\cdots+c_n\lambda_n\boldsymbol{x}_n \right ) \\ &amp;= \sum_{i=1}^n\sum_{j=1}^n\lambda_i\lambda_j c_ic_j \boldsymbol{x}_i^T\boldsymbol{x}_j = \sum_{i=1}^n \lambda_i c_i^2 \\ &amp;\leq \lambda_1 \sum_{i=1}^n c_i^2 = \lambda_1 \qquad \cdots \left(3\right) \end{aligned}