【数值分析】学习笔记1——范数与条件数

---

前言

在南方科技大学学习何炳生老师的数值分析课程期间有很多收获与感悟，由衷的感谢何老师的谆谆教导，当然我希望能将课程中所学习到的，能应用到未来科研和工作中的这部分知识，以学习笔记的方式记录下来，也希望能通过这种帖子将自己作为小白对于这些知识的通俗理解分享给大家，文中一些不够准确或错误的表达，还望大家指证。
【数值分析】学习笔记目录

本章节将分享数值分析的预备知识——范数与条件数

---

一.什么是范数

如果学习机器学习或者信号处理相关的课程，可以发现有一个名词——范数被屡屡提及，那什么是范数呢？
根据李庆阳、王能超、易大义老师编的《数值分析》书上的定义，范数是为了研究线性方程组近似解的误差估计和迭代法的收敛性, 对向量及矩阵的“大小”引进某种度量。

通俗的理解其实，范数运算就是一种针对向量和矩阵的运算规则（类似加，减，乘，除），通过对一向量或者矩阵的范数运算后可以得到一个标量，这个标量表征了矩阵或者向量的一些性质，而这个标量被称为这个向量或者矩阵的一个范数。

当然范数运算不止一种，也就是对于一个向量或者矩阵而言，它包含了多种范数，即一种运算规则只要满足了一定的条件，它所求解出来的值就可以被称为范数。

二.向量的范数

1.向量范数的定义

对任一向量$X\in R^n$（即一个n维的向量X，其中每个元素都是实数）, 按照一定规则确定一个实数与它对应, 该实数记为$\Vert X\Vert$, 若$\Vert X\Vert$满足下面三个性质:

1. $\Vert X\Vert >0$； $\Vert X\Vert =0$当且仅当$X=0$；
2. 对任意实数$a$， $\Vert aX\Vert =\left|a\right|\Vert X\Vert$
3. 对任意向量$Y\in R^n$， $\Vert X+Y\Vert ⩽\Vert X\Vert +\Vert Y\Vert$

则称这个实数$\Vert X\Vert$为向量$X$的范数

2.常见的向量范数

在实际使用中，有以下3种向量范数最常被使用

1. （1-范数）${\Vert X\Vert }_1=\left|x_1\right|+\left|x_2\right|+...+\left|x_n\right|=\sum _{i=1}^n\left|x_i\right|$
   （即向量中所有元素绝对值之和）
2. （2-范数）${\Vert X\Vert }_2=\sqrt{x_1^2+x_2^2+...+x_n^{}}$