【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（14）：向量范数及其性质

前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
机器学习小白阶段
文章仅作为自己的学习笔记 用于知识体系建立以及复习
知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理、最小多项式

4.1 向量范数及其性质

4.1.1 向量范数的概念及P-范数

设给定$n$维向量空间$R^n$中的向量序列 { χ ( k ) } \{\boldsymbol\chi^{(k)}\} {χ(k)}，其中

$${\mathbf{\chi }}^{(k)}=({\xi }_1^{(k)},{\xi }_2^{(k)},...,{\xi }_n^{(k)})k=1,2,3,...$$

如果每一个分量${\xi }_i^{(k)}$当$k\to \infty$时，都有极限${\xi }_i$，即

$$\underset{k\to \infty }{\lim }{\xi }_i^{(k)}={\xi }_{i}i=1,2,...,n$$

记$\mathbf{\chi }=({\xi }_1,{\xi }_2,...,{\xi }_n)$

则称向量序列 { χ ( k ) } \{\boldsymbol\chi^{(k)}\} {χ(k)}有极限或称 { χ ( k ) } \{\boldsymbol\chi^{(k)}\} {χ(k)}收敛于$\mathbf{\chi }$

简称 { χ ( k ) } \{\boldsymbol\chi^{(k)}\} {χ(k)}收敛，记为

$$\underset{k\to \infty }{\lim }{\mathbf{\chi }}^{(k)}=\mathbf{\chi }或{\mathbf{\chi }}^{(k)}\to \mathbf{\chi }$$

---

不收敛的向量序列称为发散的

收敛的向量序列：

$${\mathbf{\chi }}^{(k)}=\left[\begin{array}{c}\frac{1}{2^k}\\ \\ \frac{\sin k}{k}\end{array}\right]k=1,2,3,...$$

因为当$k\to \infty$时，$\frac{1}{2^k}\to 0,\frac{\sin k}{k}\to 0$

所以

$$\underset{k\to \infty }{\lim }{\mathbf{\chi }}^{(k)}=\left[\begin{array}{c}{\lim }_{k\to \infty }\frac{1}{2^k}\\ \\ {\lim }_{k\to \infty }\frac{\sin k}{k}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

发散的向量序列：

$${\mathbf{\chi }}^{(k)}=\left[\begin{array}{c}{\sum }_{i=1}^k\frac{1}{2^i}\\ \\ {\sum }_{i=1}^k\frac{1}{i}\end{array}\right]k=1,2,3,...$$

因为

$$\sum _{i=1}^k\frac{1}{2^i}\to 1，而\sum _{i=1}^k\frac{1}{i}\to \infty$$

定义4.1

如果$V$是数域$K$上的线性空间，且对于$V$的任一向量$\mathbf{\chi }$，对应一个实值函数$||\mathbf{\chi }||$，它满足下面三个条件：

• 非负性：当$\mathbf{\chi }\ne 0$时，$||\mathbf{\chi }||>0$；当$\mathbf{\chi }=0$时，$||\mathbf{\chi }||=0$
• 齐次性：$|a\mathbf{\chi }|=|a|||\mathbf{\chi }||$
• 三角不等式：$||\mathbf{\chi }+\mathbf{\zeta }||\le ||\mathbf{\chi }||+||\mathbf{\zeta }||\mathbf{\chi },\mathbf{\zeta }\in V$

则称$||\mathbf{\chi }||$为$V$上$\mathbf{\chi }$的范数

例1

试着说明在$n$维酉空间$C^n$上，复向量$\mathbf{\chi }=({\xi }_1,{\xi }_2,...,{\xi }_n)$

设 $\mathbf{\chi }=({\xi }_1,{\xi }_2,...,{\xi }_n)\in C^n$的长度

$$||\mathbf{\chi }||=\sqrt{|{\xi }_1{|}^2+|{\xi }_2{|}^2+...+|{\xi }_n{|}^2}$$

是一种范数

解答

证非负性：

当$\mathbf{\chi }\ne 0$时，$||\mathbf{\chi }||=\sqrt{|{\xi }_1{|}^2+|{\xi }_2{|}^2+...+|{\xi }_n{|}^2}>0$

当且仅当$\mathbf{\chi }=0$时，$||\mathbf{\chi }||=\sqrt{|{\xi }_1{|}^2+|{\xi }_2{|}^2+...+|{\xi }_n{|}^2}=0$

证齐次性：

对任意复数$a$

$$\begin{gathered} ||a\mathbf{\chi }||=\sqrt{|a{\xi }_1{|}^2+|a{\xi }_2{|}^2+...+|a{\xi }_n{|}^2} \\ =|a|\sqrt{|{\xi }_1{|}^2+|{\xi }_2{|}^2+...+|{\xi }_n{|}^2} \\ =|a|||\mathbf{\chi }|| \end{gathered}$$

证三角不等式：

对于任意的两个复向量$\mathbf{\chi }=({\xi }_1,{\xi }_2,...,{\xi }_n),\mathbf{\zeta }=({\eta }_1,{\eta }_2,...,{\eta }_n)$，有

$$\mathbf{\chi }+\mathbf{\zeta }=({\xi }_1+{\eta }_1,{\xi }_2+{\eta }_2,...,{\xi }_n+{\eta }_n)$$

所以

$$||\mathbf{\chi }+\mathbf{\zeta }||=\sqrt{|{\xi }_1+{\eta }_1{|}^2+|{\xi }_2+{\eta }_2{|}^2+...+|{\xi }_n+{\eta }_n{|}^2}$$

即

$$\begin{gathered} ||\mathbf{\chi }+\mathbf{\zeta }|{|}^2=|{\xi }_1+{\eta }_1{|}^2+|{\xi }_2+{\eta }_2{|}^2+...+|{\xi }_n+{\eta }_n{|}^2 \\ =|{\xi }_1{|}^2+...+|{\xi }_n{|}^2+{\sum }_{i=1}^n{\xi }_i\overline{{\eta }_i}+{\sum }_{i=1}^n\overline{{\xi }_i}{\eta }_i+|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \\ =||\mathbf{\chi }|{|}^2+2Re(\mathbf{\chi },\mathbf{\xi })+||\mathbf{\zeta }|{|}^2 \\ \le ||\mathbf{\chi }|{|}^2+2||\mathbf{\chi }||||\mathbf{\zeta }||+||\mathbf{\zeta }|{|}^2 \\ =(||\mathbf{\chi }||+||\mathbf{\zeta }||{)}^2 \end{gathered}$$

---

上面的推导过程来自课本，但是感觉有一点问题

首先需要知道，两个复数之和的模

比如$|{\xi }_1+{\eta }_1{|}^2=|{\xi }_1{|}^2+|{\eta }_1{|}^2+\overline{{\xi }_1}{\eta }_1+{\xi }_1\overline{{\eta }_1}$

可以举一个例子，比如${\xi }_1=1+2i,{\eta }_1=3-2i$,计算一下，会发现确实是这样的

然后 $\overline{{\xi }_1}{\eta }_1={\xi }_1\overline{{\eta }_1}$

同样举一个例子就可以了

所以

$$\begin{gathered} |{\xi }_1{|}^2+...+|{\xi }_n{|}^2+{\sum }_{i=1}^n{\xi }_i\overline{{\eta }_i}+{\sum }_{i=1}^n\overline{{\xi }_i}{\eta }_i+|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \\ =|{\xi }_1{|}^2+...+|{\xi }_n{|}^2+2{\sum }_{i=1}^n{\xi }_i\overline{{\eta }_i}+|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \end{gathered}$$

可以发现

$$\sum _{i=1}^n{\xi }_i\overline{{\eta }_i}=(\mathbf{\chi },\bar{\mathbf{\zeta }})$$

$\bar{\mathbf{\zeta }}$表示对其中每一个复数进行操作：实部不变，虚部取反
$(\mathbf{\chi },\bar{\mathbf{\zeta }})$表示两个向量的内积

利用施瓦茨不等式，有

$$(\alpha ,\beta )\le \sqrt{(\alpha ,\alpha )(\beta ,\beta )}=|\alpha ||\beta |$$

所以

$$(\mathbf{\chi },\bar{\mathbf{\zeta }})\le |\mathbf{\chi }||\bar{\mathbf{\zeta }}|$$

又因为

$$|\bar{\mathbf{\zeta }}|=|\mathbf{\zeta }|$$

所以

$$(\mathbf{\chi },\bar{\mathbf{\zeta }})\le |\mathbf{\chi }||\mathbf{\zeta }|$$

综上

$$\begin{gathered} |{\xi }_1{|}^2+...+|{\xi }_n{|}^2+2{\sum }_{i=1}^n{\xi }_i\overline{{\eta }_i}++|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \\ =|{\xi }_1{|}^2+...+|{\xi }_n{|}^2+2(\mathbf{\chi },\bar{\mathbf{\zeta }})+|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \\ \le |{\xi }_1{|}^2+...+|{\xi }_n{|}^2+2|\mathbf{\chi }||\mathbf{\zeta }|+|{\eta }_1{|}^2+...+|{\eta }_n{|}^2 \\ =(||\mathbf{\chi }||+||\mathbf{\zeta }||{)}^2 \end{gathered}$$

感觉正确的推导应该是这样
不知道课本上是咋推导的
自己没有想明白
如有错误 欢迎指正

---

即

$$||\mathbf{\chi }+\mathbf{\zeta }|{|}^2\le (||\mathbf{\chi }||+||\mathbf{\zeta }||{)}^2$$

向量的几种范数

$P-范数$

定义

$$(\sum _{i=1}^n|{\xi }_i{|}^p{)}^{\frac{1}{p}}1\le p<+\infty$$

为$P-范数$

当$P=1$时，得到$1-范数$
当$P=2$时，得到$2-范数$
当$P=\infty$时，得到$\infty -范数$

$1-范数$

定义

$${||\mathbf{\chi }||}_1=\sum _{i=1}^n|{\xi }_i|$$

为$1-范数$

记忆：一个向量中所有元素模的和
比如：$\mathbf{\chi }=(1,-2,3)$
则：$||\mathbf{\chi }|{|}_1={\sum }_{i=1}^n|{\xi }_i|=|1|+|-2|+|3|=1+2+3=6$

$2-范数$

定义

$${||\mathbf{\chi }||}_2=(\sum _{i=1}^n|{\xi }_i{|}^2{)}^{\frac{1}{2}}$$

为$2-范数$

记忆：一个向量中所有元素模的平方的和再开方
比如：$\mathbf{\chi }=(1,-2,3)$
则：$||\mathbf{\chi }|{|}_2={\sum }_{i=1}^n|{\xi }_i|=(|1{|}^2+|-2{|}^2+|3{|}^2{)}^{\frac{1}{2}}=(1+4+9{)}^{\frac{1}{2}}=\sqrt{14}$

$\infty -范数$

定义

$${||\mathbf{\chi }||}_{\infty }=\underset{i}{\max }|{\xi }_i|$$

为$\infty -范数$

记忆：一个向量中模最大的那个元素
比如：$\mathbf{\chi }=(1,-2,3,-4,5,-6)$
则：$||\mathbf{\chi }|{|}_{\infty }={\max }_i|{\xi }_i|=|-6|=6$

4.1.2 $n$维线性空间$V$上的向量范数等价性

定理4.1.1

设${||\mathbf{\chi }||}_{\alpha }$和${||\mathbf{\chi }||}_{\beta }$为有限维线性空间$V$的任一两种向量范数

它们不限于$P-$范数，则总存在两个与向量无关的正常数$c_1$和$c_2$，使得

$$c_1{||\mathbf{\chi }||}_{\beta }\le {||\mathbf{\chi }||}_{\alpha }\le c_2{||\mathbf{\chi }||}_{\beta },\forall \mathbf{\chi }\in V$$

说明这两种范数是等价的

推论

设$||\mathbf{\chi }|{|}_{\alpha }$和$||\mathbf{\chi }|{|}_{\beta }$都是$||\mathbf{\chi }|{|}_p(p=1,2,\infty )$，则下面两个不等式成立

$$||\mathbf{\chi }|{|}_{\infty }\le ||\mathbf{\chi }|{|}_1\le n||\mathbf{\chi }|{|}_{\infty }\text{\hspace{1em}(1)}$$

$||\mathbf{\chi }|{|}_1$求一个向量中所有元素的模的和，而$||\mathbf{\chi }|{|}_{\infty }$是找一个向量中元素的最大模
所以$||\mathbf{\chi }|{|}_1$一定是大于等于$||\mathbf{\chi }|{|}_{\infty }$
小于等于$n$个$||\mathbf{\chi }|{|}_{\infty }$之和（边界条件：向量中每一个元素的模都一样，等式成立）

$$||\mathbf{\chi }|{|}_{\infty }\le ||\mathbf{\chi }|{|}_2\le \sqrt{n}||\mathbf{\chi }|{|}_{\infty }\text{\hspace{1em}(2)}$$

理解$||\mathbf{\chi }|{|}_2$是一个向量中所有元素模的平方的和再开方

定理4.1.2

$C^n$中的向量序列${\mathbf{\chi }}^{(k)}=({\xi }_1^{(k)},{\xi }_2^{(k)},...,{\xi }_n^{(k)})k=1,2,3,...$收敛到向量$\mathbf{\chi }=({\xi }_1,{\xi }_2,...,{\xi }_n)$的充要条件是对任一种范数$||\cdot ||$，序列$||{\mathbf{\chi }}^{(k)}-\mathbf{\chi }||$收敛到零

结语

说明：

• 参考于 课本《矩阵理论》
• 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正