范数(Norm)和谱半径(Spectral Radii)

向量(vector)

$$x=[x_1,x_2,\cdots,x_n]^T$$
共轭转置(conjugate transpose)
$$x^*=[\bar{x_1},\bar{x_2},\cdots,\bar{x_n}]$$

向量2范数(vector norm)

$$||x||_2=(\sum_{i=1}^{n}|x_i|^2)^{1/2}$$

定理 1
If $x,y$ are vector, then

$$||x||_2>0, unless x=0$$
if $\alpha$ 是一个标量，then
$$||\alpha x||_2=|\alpha|||x||_2$$
三角不等式(triangular inequality)
$$||x+y||_2\leq ||x||_2+||y||_2$$
谱半径(spectral radius)
A 是一个n阶矩阵，它的特征值为 $\lambda_i,1\leq i\leq n$, 那么它的谱半径为
$$\rho(A)=\max_{1\leq i\leq n}|\lambda_i|.$$
几何上看，如果将A的所有特征值画在复平面上，那么A的谱半径就是以原点为中心包含所有的特征值的圆盘的最小半径。
谱范数(spectral norm)
A 是一个n阶矩阵, 它的谱范数定义为：
$$||A||=\sup_{x\neq 0}\frac{||Ax||_2}{||x||_2}$$
定理2
设A和B都是n阶方阵，下面性质成立
1. ||A||>0, unless A=0, the null matrix.
2. if $\alpha$ 是标量，
$$||\alpha A||=|\alpha||A||$$
3. $||A+B||\leq ||A||+||B||$
4. $||AB||\leq ||A||\, ||B||$
5. $||Ax||_2\leq ||A||\,||x||_2$ 且存在非零y使得 $$||Ay||_2=||A||\,||y||_2$$
5的证明要利用连续函数在紧集上可以取到最大值的性质。

推论2.1
对任意的方阵A，

$$||A||\geq \rho(A)$$
Pf. For any eigenvalue of A, named $\lambda$, then
$$|\lambda|||x||_2=||\lambda x||_2=||Ax||_2\leq ||A||\,||x||_2$$
$$||A||\geq \lambda$$
then $$||A||\geq \rho(A)$$
矩阵的谱范数也可以用谱半径表示。
定理3
A是一个n阶矩阵，那么 $$||A||=(\rho(A^*A))^{1/2}$$
Pf.
$A^*A$ Hermitian 的， 所以它的特征值都是非负实数，记为
$$0\leq v_1\leq \cdots\leq v_n$$
那么取 $a_i$是 $v_i$的特征向量，且 $a_i$ 是正交的，
令 $$x=\sum_{i=1}^n\lambda_i a_i$$
$$\begin{align*} \frac{||Ax||_2^2}{||x||_2^2}&=\frac{(Ax)^*(Ax)}{x^*x}\\ &=\frac{x^*(A^*Ax)}{x^*x}\\ &=\frac{\sum_{i=1}^nv_i|\lambda_i|^2}{\sum_{i=1}^n|\lambda_i|^2} \end{align*}$$
所以 $$v_1\leq\frac{||Ax||_2^2}{||x||_2^2}\leq v_n$$
又令 $x=a_n$ 那么上式右边可以取到等号。
推论3.1
如果A本身是Hermitian的， 那么 $||A||=\rho(A)$,另外设 $g_m(x)$ 是任意一个实多项式，那么
$$||g_m(A)||=\rho(g_m(A))$$