范数和条件数(Norms and Condition Numbers)

1.向量范数(Vector Norms)

如果向量$x\in {\mathbb{R}}^n(或{\mathbb{C}}^n)$的某个实值函数$N(x)=\Vert x\Vert ,$满足条件:

$$(1)\Vert x\Vert ⩾0(\Vert x\Vert =0\text{当且仅当}x=0)$$

$$(2)\Vert \alpha x\Vert =\left|\alpha \right|\Vert x\Vert ,\forall \alpha \in \mathbb{R}(或\alpha \in \mathbb{C}),$$

$$(3)\Vert x+y\Vert ⩽\Vert x\Vert +\Vert y\Vert (三角不等式)$$

则称$N(x)是{\mathbb{R}}^n(或{\mathbb{C}}^n)上的向量范数或模.$
几种常见的向量范数.
(1)向量的$\infty$-范数(最大范数):
$${\Vert \begin{array}{c}x\end{array}\Vert }_{\infty }=\underset{1⩽i⩽n}{\max }\left|x_i\right|.$$
(2)向量的1-范数:
$${\Vert x\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$
(3)向量的2-范数:
$${\Vert x\Vert }_2=(x,x{)}^{\frac{1}{2}}=(\sum _{i=1}^n{x}_i^2{)}^{\frac{1}{2}}.$$
(4)向量的$p$-范数:
$${\Vert x\Vert }_p=(\sum _{i=1}^n{\left|x_i\right|}^p{)}^{\frac{1}{p}}.$$
其中$p\in [1,+\infty ),$可以证明向量函数$N(x)\equiv {\Vert x\Vert }_p是{\mathbb{R}}^n$上的向量范数，且容易说明上述三种范数是$p$-范数的特殊情况$({\Vert x\Vert }_{\infty }=\underset{p\to \infty }{\lim }{\Vert x\Vert }_p).$

2. 矩阵范数(Matrix Norms)

将向量范数概念推广到矩阵上去.视${\mathbb{R}}^{n\times n}$中的矩阵为${\mathbb{R}}^{n^2}$中的向量，则由${\mathbb{R}}^{n^2}$上的2-范数，可以得到
${\mathbb{R}}^{n\times n}$中矩阵的一种范数.
$$F(A)={\Vert A\Vert }_F=(\sum _{i,j=1}^n{a}_{i,j}^2{)}^{\frac{1}{2}},$$
称为A的弗罗贝尼乌斯范数.${\Vert A\Vert }_F$显然名字正定性，齐次性及三角不等式.下面是矩阵范数的一般定义.
如果矩阵$A\in {\mathbb{R}}^{n\times n}$的某个非负实值函数$N(A)=\Vert A\Vert ,$满足条件:
$$(1)\Vert A\Vert ⩾0(\Vert A\Vert =0\iff A=0)\text{(正定条件)};$$

$$(2)\Vert cA\Vert =\left|c\right|\Vert A\Vert ,\forall c\in \mathbb{R}\text{(齐次条件)};$$

$$(3)\Vert A+B\Vert ⩽\Vert A\Vert +\Vert B\Vert (三角不等式)$$
则称$N(A)是{\mathbb{R}}^{n\times n}上的矩阵范数或模.$
设$x\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{n\times n},$则:
$(1){\Vert A\Vert }_{\infty }=\underset{1⩽i⩽n}{\max }\sum _{j=1}^n\left|a_{ij}\right|\text{(称为A的行范数)};$
$(2){\Vert A\Vert }_1=\underset{1⩽j⩽n}{\max }\sum _{i=1}^n\left|a_{ij}\right|\text{(称为A的列范数)};$

$(3){\Vert A\Vert }_2=\sqrt{{\lambda }_{\max }(A^{T}A)}\text{(称为A的2-范数)}$$其中{\lambda }_{\max }(A^{T}A)表示A^{T}A的最大特征值.$

3.矩阵条件数(Condition Numbers)

设$A$为非奇异矩阵，称数$cond(A{)}_v={\Vert A^{-1}\Vert }_v{\Vert A\Vert }_v(v=1,2或\infty )$为矩阵$A$的条件数.
通常使用的条件数有
$(1)cond(A{)}_{\infty }={\Vert A^{-1}\Vert }_{\infty }{\Vert A\Vert }_{\infty };$
$(2)A$的谱条件数$$cond(A{)}_2={\Vert A\Vert }_2{\Vert A^{-1}\Vert }_2=\sqrt{\frac{{\lambda }_{\max }(A^{T}A)}{{\lambda }_{\min }(A{A}^T)}}.$$
当$A$为对称矩阵时$$cond(A{)}_2=\frac{|{\lambda }_1|}{|{\lambda }_n|},$$
其中，${\lambda }_1,{\lambda }_n$为$A$的绝对值最大和最小特征值.

4.Python实现范数和条件数

import numpy as np
from scipy.linalg import eigvals, det, inv


def vector_norm(vector: np.ndarray, p=None):
    """
    计算向量的p-范数
    :param vector: 实向量或者复向量
    :param p: 指定类型的范数，默认是oo范数
    :return: 指定向量范数和p值
    """
    if p is None:
        return abs(vector).max(), p
    elif p >= 1:
        return np.power(np.sum(np.power(abs(vector), p)), 1 / p), p
    else:
        raise Exception("error,p must be an integer , greater than  or equal to 1")


def matrix_norm(square_matrix: np.ndarray, v=None):
    """
    计算矩阵范数，其中v=1,2,oo
    :param square_matrix: 实数方阵或者复数方阵
    :param v: 范数类型，默认是弗罗贝尼乌斯范数
    :return: 指定类型范数
    """
    if square_matrix.shape[0] == square_matrix.shape[1]:
        if v is None:
            # 弗罗贝尼乌斯范数
            return np.power(np.sum(np.power(square_matrix, 2)), 1 / 2)
        elif v == 0:
            # 矩阵的列范数
            return np.max(np.sum(abs(square_matrix), v))
        elif v == 1:
            # 矩阵的行范数
            return np.max(np.sum(abs(square_matrix), v))
        elif v == 2:
            # 矩阵的2-范数
            return np.sqrt(eigvals(square_matrix.T @ square_matrix).max()).real
        else:
            raise Exception("sorry,currently,v must be None,0,1 or2")
    else:
        raise Exception("error,input matrix must be a square matrix.")


def condition_number(square_matrix: np.ndarray, v=None):
    """
    计算矩阵条件数，其中v=oo,1,2
    :param square_matrix:实数方阵或者复数方阵
    :param v:范数类型，默认是oo范数
    :return:指定范数下的矩阵条件数
    """
    if square_matrix.shape[0] == square_matrix.shape[1]:
        if det(square_matrix) != 0:
            if v is None:
                return matrix_norm(square_matrix, v=1)*matrix_norm(inv(square_matrix), v=1)
            elif v == 1:
                return matrix_norm(square_matrix, v=0)*matrix_norm(inv(square_matrix), v=0)
            elif v == 2:
                eigenvalue_fraction = matrix_norm(square_matrix, v=2) / np.sqrt(
                    eigvals(square_matrix.T @ square_matrix).min()).real
                return np.sqrt(eigenvalue_fraction)
            else:
                raise Exception("sorry,currently,v must be None,1 or2")
        else:
            raise Exception("error,input matrix must be a non-singular matrix")
    else:
        raise Exception("error,input matrix must be a square matrix.")