Chapter 3 线性代数

最新推荐文章于 2024-06-29 15:46:33 发布

桑之未落0208

最新推荐文章于 2024-06-29 15:46:33 发布

阅读量140

点赞数

分类专栏：数学基础文章标签：线性代数矩阵机器学习

本文链接：https://blog.csdn.net/qwertyuiop0208/article/details/124749440

版权

数学基础专栏收录该内容

3 篇文章 0 订阅

订阅专栏

向量、矩阵、张量的定义

标量：常数 $x$

向量： $(x_{1},x_{2},\cdots ,x_{n})\epsilon \mathbb{R}^{n}$ $n$ 维向量

ps： $x_{-1}=(x_{2},x_{3},\cdots ,x_{n})$ ， $x_{-i}=(x_{1},\cdots ,x_{i-1},x_{i+1},\cdots ,x_{n})$

矩阵： $A_{i,j}=\begin{pmatrix} a_{11} &a_{12} &\cdots & a_{1n}\\ a_{21} & \cdots & \cdots & a_{2n}\\ \vdots & \vdots & \vdots & \vdots \\ a_{m1}& a_{m2} & \cdots & a_{mn} \end{pmatrix}$ ，m行n列

张量： $A_{i,j,k,l}$ ，Tensor Flow

向量与矩阵运算

$\overrightarrow{x}=\begin{pmatrix} x_{1}\\ \vdots \\ x_{n}\\ \end{pmatrix},\overrightarrow{y}=\begin{pmatrix} y_{1}\\ \vdots \\ y_{n}\\ \end{pmatrix}$ 则 $\overrightarrow{x}+\overrightarrow{y}=\begin{pmatrix} x_{1}+y_{1}\\ \vdots \\ x_{n}+y_{n}\\ \end{pmatrix}$

范数，由距离推广得到的。

$\left \| \overrightarrow{x} \right \|_{2}=\sqrt{x_{1}^{2}+\cdots +x_{n}^{2}}$ ，二范数，记为 $L_{2}$

$\left \| \overrightarrow{x} \right \|_{p}=(\sum_{1}^{n}|x_{i}|^{p})^{\frac{1}{p}}$ ，p范数，记为 $L_{p}$

$\left \| \overrightarrow{x} \right \|_{1}=\sum_{1}^{n}|x_{i}|$ ，一范数，记为 $L_{1}$

$\lim_{p\rightarrow \infty }L_{p}=\underset{i}{max}|x_{i}|$ ，无穷范数，记为 $L_{\infty }$

$|x_{i}|^{^{0}}=\left\{\begin{matrix} 0 &x_{i}=0 \\ 1& x_{i}\neq 0 \end{matrix}\right.$ ， $\left \| \overrightarrow{x} \right \|_{0}=k$ （ $x_{i}$ 中有k个不为0的数），0范数，记为 $L_{0}$ ，一般用来判断矩阵的稀疏性，若矩阵中(向量)大部分数为0的话，那么这个矩阵（向量）就是稀疏的。

$<\overrightarrow{x},\overrightarrow{y} > =\overrightarrow{x}\overrightarrow{y}=x^{T}y=\sum_{1}^{n}x_{i}y_{j}$

$cos(x,y)=\frac{\overrightarrow{x}\cdot \overrightarrow{y}}{\left \| \overrightarrow{x}\right \|_{2}\cdot \left \| \overrightarrow{y} \right \|_{2}}$ ，若 $cos(x,y)=1$ ，则代表着 $\overrightarrow{x_{i}}=k\overrightarrow{y_{i}}$

向量相乘:(1)Hardamard—— $A_{m\times n},B_{m\times n}$ ，则 $A\odot B=C_{m\times n}$ ，对应位置相乘。

(2)Kronecker—— $A_{a\times b},B_{c\times d}$ ，则 $A\odot B=C_{ac\times bd}$ ，在B的每个位置上的数都分别与A矩阵相乘

举例 Kronecker：

$\begin{pmatrix} a_{11} & a_{12}\\ a_{21}&a_{22} \end{pmatrix}\begin{pmatrix} b_{11} &b_{12} \\ b_{21} & b_{22} \end{pmatrix}=\begin{pmatrix} a_{11}b_{11} & a_{12}b_{11} & a_{11}b_{12} &a_{12}b_{12} \\ a_{21}b_{11}&a_{22}b_{11} &a_{21}b_{12} &a_{22}b_{12} \\ a_{11}b_{21}&a_{12}b_{21} &a_{11}b_{22} &a_{12}b_{22} \\ a_{21}b_{21} &a_{22}b_{21} &a_{21}b_{22} & a_{22}b_{22} \end{pmatrix}$

张量的运算

一阶张量——向量，其运算略

二阶张量——矩阵，其运算略

高阶张量—— $\overrightarrow{a}\epsilon \mathbb{R}^{k},\overrightarrow{b}\epsilon \mathbb{R}^{n},\overrightarrow{c}\epsilon \mathbb{R}^{m}$ ，则 $\overrightarrow{a}\cdot \overrightarrow{b}\cdot \overrightarrow{c}\epsilon \mathbb{R}_{k\times n \times m}$

矩阵的逆和伪逆

矩阵的逆——若 $A^{-1}A=AA^{-1}=I$ ,则 $A^{-1}$ 为A的逆。

伪逆——More Penrose_inverse需要满足四个条件：（1） $A^{-1}AA^{-1}=A^{-1}$ （2） $AA^{-1}A=A$ （3） $(AA^{-1})^{T}=AA^{-1}$ （4） $(A^{-1}A)^{T}=A^{-1}A$

行列式

行列式的三条性质：
(1)线性性：行列式为 $f(\alpha_{1} ,\alpha_{2} ,\cdots ,\alpha_{n} )\rightarrow \mathbb{R}^{n}$ , $\alpha_{1} =k_{1}\beta _{11}+k_{2}\beta _{12}$ 则 $k_{1}\beta _{11}+k_{2}\beta _{12}=k_{1}f(\beta_{11} ,\alpha_{2} ,\cdots ,\alpha_{n} )+k_{2}f(\beta_{12} ,\alpha_{2} ,\cdots ,\alpha_{n} )$

(2)反对称性：若 $\alpha _{i}=\alpha _{j},i\neq j$ ,则 $f(\alpha_{1} ,\alpha_{2} ,\cdots ,\alpha_{n} )=0$

(3) $f(e_{1},e_{2},\cdots ,e_{n})=1$

线性方程组

$A_{n\times n}b_{n\times 1}=C_{n\times 1}$ 替换为 $AX=C$

$x_{i}f(\alpha_{1} ,\alpha_{2} ,\cdots ,\alpha _{n})=f(\alpha_{1} ,\alpha_{2} ,\cdots ,x_{i}\alpha _{i},\cdots ,\alpha _{n})=x_{i}f(\alpha_{1} ,\alpha_{2} ,\cdots ,\alpha _{1},\cdots ,\alpha _{n})+x_{i}f(\alpha_{1} ,\alpha_{2} ,\cdots ,\alpha _{i},\cdots ,\alpha _{n})=f(\alpha_{1} ,\alpha_{2} ,\cdots ,x_{1}\alpha _{1}+x_{i}\alpha _{i},\cdots ,\alpha _{n})=\cdots =f(\alpha_{1} ,\alpha_{2} ,\cdots ,\sum_{1}^{n}x_{i}\alpha _{i},\cdots ,\alpha _{n})=f(\alpha_{1} ,\alpha_{2} ,\cdots ,C,\cdots ,\alpha _{n})$

所以 $x_{i}=\frac{f(\alpha _{1},\cdots, C,\cdots \alpha _{n})}{f(\alpha_{1} ,\cdots ,\alpha_{i} ,\cdots \alpha _{n})}$

二次型和正定性

二次型：

$f(x_{1},x_{2},\cdots ,x_{n})=\alpha_{1} x_{1}^{2}+\alpha_{2} x_{2}^{2}+\cdots +\alpha_{n} x_{n}^{2}+\beta _{11}x_{1}x_{2}+\beta _{13}x_{1}x_{3}+\cdots +\beta _{n-1,n}x_{n-1}x_{n}=k_{1}y_{1}^{2}+k_{2}y_{2}^{2}+\cdots +k_{n}y_{n}^{2}$

正定性：
$X^{T}AX=y^{T}y=\sum y_{i}^{2}\geq 0$ ,其中 $A=V^{T}V,y=VX$

惯性定理：

$A=V^{T}BV$ ， $A$ 与 $B$ 合同

对于不同的V来说，B的对角线上的正数和负数都是固定的，其正数的个数为正惯性，其负数的个数为负惯性。

矩阵分解

（1）Cholesby分解——对于矩阵 $A$ ，若 $A$ 是正定的且对称的，那么一定存在下三角矩阵 $L$ ，使得 $A=LL^{T}$ 。可根据 $A$ 来确定 $L$ 。

目的： $A_{m\times n}=L_{m\times k}U_{k\times n}$ ，其中 $L$ 为下三角矩阵， $U$ 为上三角矩阵，那么求解 $A$ 的逆的时候，可以利用 $A^{-1}=(LU)^{-1}=U^{-1}L^{-1}$ ，只需要求解 $U,L$ 的逆即可（更加方便）。

（2）特征值分解—— $A=VDV^{-1}$ ,其中 $V$ 为一组正交基（ $v_{i}v_{j}=0,v_{i}v_{i}=1$ ），即 $VV^{T}=I$ ,则 $A=VDV^{T}=\sum_{1}^{n}d_{i}v_{i}v_{i}^{T}\approx D_{1}v_{i}v_{i}^{T}+D_{2}v_{j}v_{j}^{T}$ （应用于主成分分析、矩阵压缩感知，可将一阶张量变为二阶张量）

（3）奇异值分解—— $A_{m\times n}=U_{m\times m}D_{m\times n}V^{T}_{n\times n}=\sum_{1}^{n}d_{i}u_{i}v_{i}^{T}$ ，其中 $U,V$ 为正交阵， $D$ 为对角阵。(应用于矩阵压缩、矩阵逼近)。 $AA^{T}=UDV^{T}(UDV^{T})^{T}=UDV^{T}VD^{T}U^{T}=UD^{2}U^{T}$ ,将奇异值分解转化为特征值分解，便可得到 $U$ ， $D$ （ $AA^{T}$ 特征值可求 $U$ ， $D$ (为 $AA^{T}$ 特征值的开方)）和 $V$ 。

（4） $QR$ 分解—— $A=QR$ ，其中 $Q$ 为正交阵， $R$ 为上三角矩阵。

$A_{0}=Q_{0}R_{0}$

$Q_{1}R_{1}=A_{1}=R_{0}Q_{0}$

$Q_{2}R_{2}=A_{2}=R_{1}Q_{1}$

以此类推，可得到 $A_{n}$ 对角线的值和特征值非常接近。

桑之未落0208

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Chapter 3 线性代数

向量、矩阵、张量的定义标量：常数向量：维向量 ps：，矩阵：，m行n列张量：，Tensor Flow向量与矩阵运算则范数，由距离推广得到的。，二范数，记为，p范数，记为，一范数，记为，无穷范数，记为，（中有k个不为0的数），0范数，记为，一般用来判断矩阵的稀疏性，若矩阵中大部分数为0的话，那么这个矩阵就是稀疏的。...
复制链接

扫一扫