统计机器学习-2-矩阵范数与导数

1、矩阵和行列式

矩阵的知识是从行列式而来，矩阵和行列式的区别在于矩阵是一张表，行列式是一个数。

如下，

A是一个矩阵:

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]\text{\hspace{1em}(1)}$$

B是一个行列式：

$$B=\left|\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right|=0\text{\hspace{1em}(2)}$$

2、矩阵和向量

向量是一个特殊的矩阵，其行或列数目为1。
矩阵A的一个3*1的列向量$\vec{x}$为：

$$\vec{x}=\left[\begin{array}{c}1\\ 4\\ 7\end{array}\right]\text{\hspace{1em}(3)}$$

A的一个1*3的行向量$\vec{y}$为：

$$\vec{x}=\left|\begin{array}{ccc}1& 2& 3\end{array}\right|\text{\hspace{1em}(4)}$$

3.向量范数

向量范数: 给向量赋予一个正标量值，或者简单理解为向量的模。
$$\vec{z}=\left[\begin{array}{c}1\\ 4\\ 7\end{array}\right]\text{\hspace{1em}(5)}$$

向量$\vec{z}$的模记通常记作$||\vec{z}||$(或$||\vec{z}|{|}_2$) :

$$||\vec{z}||=\left[\begin{array}{c}1\\ 4\\ 7\end{array}\right]=\sqrt{1^2+4^2+7^2}\text{\hspace{1em}(5)}$$

范数有不同的计算方法，上面介绍的是比较常用的求模方法，向量还有其他范数：

向量的1范数(L1范数): 各元素的绝对值之和:：

$$||\vec{X}|{|}_1=\sum _{i=1}^n{X}_i$$

向量的2范数,各元素平方和再开根号:

$$||\vec{X}|{|}_2=\sqrt{\sum _{i=1}^n{X}_i^2}$$

向量的p范数,各元素绝对值的p次方再开q次方:

$$||\vec{X}|{|}_P=(\sum _{i=1}^n|X_i{|}^p{)}^{1/p}$$

向量的无穷范数，元素绝对值最大者:
$$||\vec{X}|{|}_{\infty }=\sum _{i=1}^n\max (|\vec{X}{|}_i)$$

4. 矩阵范数

矩阵的1-范数：

矩阵的每一列上的元素绝对值先求和，再从中取个最大的. (列和最大）

矩阵的2-范数(谱模):

二范数指矩阵A的2范数，就是A的转置共轭矩阵与矩阵A的积的最大特征根的平方根值，是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点间的直线距离。

矩阵的无穷范数（行模）

矩阵的每一行上的元素绝对值先求和，再从中取个最大的M,(行和最大）

参考文章

https://blog.csdn.net/zaishuiyifangxym/article/details/81673491
https://blog.csdn.net/bendanban/article/details/44221279
https://www.cnblogs.com/freyr/p/4533048.html
https://wenku.baidu.com/view/a27808cd941ea76e58fa04b3.html