24、机器学习数学基础：线性代数

1、向量、矩阵、张量

标量：x
向量：$(x_1,x_2,...,x_n)\in R^n$,${\vec{x}}_{-i}$表示去掉第i个元素的向量。
矩阵：$A_{ij},\left(\begin{array}{ccc}{x}_{11}& ...& x_{1n}\\ ...& & ...\\ x_{n1}& ...& x_{nn}\end{array}\right)$
张量：$A_{ijkl}$

2、向量与矩阵的运算

范数、距离、长度：
$L_2：||\vec{x}|{|}_2=\sqrt{x_1^2+x_2^2+...+x_n^2}$

$L_p：||\vec{x}|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$

$L_1：||\vec{x}|{|}_p=({\sum }_{i=1}^n|x_i|)$

$L_{\infty }：\underset{p\to \infty }{\lim }\Vert |\vec{x}|{|}_p=\underset{i=1}{\max }|x_i|$

$L_0：有多少个量不为0。||\vec{x}|{|}_0=k，|x_i|=\{\begin{array}{ll}0& x_i=0\\ 1& x_i\ne 0\end{array}$

点乘：$<\vec{x},\vec{y}>=\vec{x}\cdot \vec{y}={\vec{x}}^T\vec{y}=\sum _{i=1}^n{x}_i{y}_i\in R^n$

$cos(\vec{x},\vec{y})=\frac{\vec{x}\cdot \vec{y}}{||\vec{x}|{|}_2||\vec{y}|{|}_2}$

当$cos(\vec{x},\vec{y})$为1时，$\vec{x}=k\vec{y}，x_i=k{y}_i$

矩阵相乘A*B=C，$C_{ij}=A_{i\cdot }{B}_{\cdot j}$

hadamard：对应位置元素相乘，$A\odot B=C$，A、B、C形状相同

Kronecker：$\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}{b}_{11}& a_{12}{b}_{11}& ...\\ a_{21}{b}_{11}& a_{22}{b}_{11}& ...\\ ...& ...& ...\end{array}\right)$

3、张量的运算

向量是1阶张量
矩阵是2阶张量
k阶张量
$\vec{a}\in R^k，\vec{b}\in R^n，\vec{c}\in R^m，a\cdot b\cdot c\in R^{k\cdot n\cdot m}$

k阶张量与m阶张量相乘得到k+m阶张量

$A_{ij}\cdot b_k=C_{i,j,k}$

$A_{i_1,i_2,...,i_k}\cdot b_{i_{k+1},i_{k+2},...,i_{k+n}}=C_{i_1,...,i_{k+n}}$

4、矩阵的逆和伪逆

$A_{n\times n}{b}_{n\times 1}=c_{n\times 1}$是$R^n$空间到$R^n$空间的映射

只要满足$KA=AK=I，K=A^{-1}$是A的逆
Penrose伪逆：满足条件$\{\begin{array}{l}{A}^{-1}A{A}^{-1}=A^{-1}\\ A{A}^{-1}A=A\\ (A{A}^{-1}{)}^T=A{A}^{-1}\\ (A^{-1}A{)}^T=A^{-1}A\end{array}$

5、行列式

行列式是矩阵到实数的映射，矩阵可以看做由向量组成，矩阵$A=(a_1,...,a_n)，a_i$为向量，行列式为$f(a_1,...,a_n)$映射到R上，

$A_{n\times n}{b}_{n\times 1}=c_{n\times 1}$是$R^n$空间到$R^n$空间的映射，是线性变换，例如：$\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)=\left(\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\end{array}\right)$,矩阵将向量$e_1=\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)$映射到$\left(\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\end{array}\right)$，将向量$e_2=\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right)$映射到$\left(\begin{array}{c}{a}_{12}\\ a_{22}\\ a_{32}\end{array}\right)$，将向量$e_3=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)$映射到$\left(\begin{array}{c}{a}_{13}\\ a_{23}\\ a_{33}\end{array}\right)$，定义$f(e_1,e_2,...,e_n)=1$（性质1），性质2线性性：若${\alpha }_1=k_1{\beta }_{11}+k_2{\beta }_{12},f({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=k_{1}f({\beta }_{11},{\alpha }_2,...,{\alpha }_n)+k_{2}f({\beta }_{12},{\alpha }_2,...,{\alpha }_n)$。性质3反对称性：$f({\alpha }_1,{\alpha }_2,{\alpha }_2,...,{\alpha }_n)=0$，这三条性质使得f是唯一确定的，f是n维多面体对应的体积也是行列式的值。

$\left(\begin{array}{ccc}{a}_{11}& ...& a_{13}\\ ...& & ...\\ a_{n1}& ...& a_{n3}\end{array}\right)\left(\begin{array}{c}{x}_1\\ ...\\ x_n\end{array}\right)=\left(\begin{array}{c}{c}_1\\ ...\\ c_n\end{array}\right)$
等价于
$\begin{array}{r}{c}_1=a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n\\ c_2=a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n\\ ...\\ c_n=a_{n1}{x}_1+a_{n2}{x}_2+...+a_{nn}{x}_n\end{array}$
$a_i$为$$\begin{gathered} (a_{12},a_{22},...,a_{n2}),f为行列式 \\ {x}_{i}f(a_1,a_2,...,a_n) \\ =f(a_1,a_2,...,a_{i-1},x_i{a}_i,a_{i+1},...,a_n) \\ =x_{1}f(a_1,a_2,...,a_1,...,a_n)+f(a_1,a_2,...,a_{i-1},x_i{a}_i,a_{i+1},...,a_n) \\ =f(a_1,a_2,...,x_i{a}_i+x_1{a}_1,...,a_n) \\ =f(a_1,a_2,...,x_i{a}_i+x_1{a}_1,...,a_n) \\ =f(a_1,a_2,...,{\sum }_{i=1}^n{x}_i{a}_i,...,a_n) \\ =f(a_1,a_2,...,c,...,a_n) \\ {x}_i=\frac{f(a_1,a_2,...,c,...,a_n)}{f(a_1,a_2,...,a_i,...,a_n)} \end{gathered}$$
矩阵求逆
$A{A}^{-1}=I$，$A(x_1,...,x_n)=(e_1,...,e_2)$，通过前述方法求得每个$e_i$对应的$x_i$

6、二次型与正定性

二次型：只含有$x_i$的二次项$f(x_1,...,x_n)=a_1{x}_1^2+...+a_n{x}_n^2+b_{11}{x}_1{x}_2++b_{n(n-1)}{x}_{n-1}{x}_n$
如何判断二次恒正或恒负
假设矩阵是对称的
$x^{T}Ax=(x_1,x_2)\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=a_{11}{x}_1^2+a_{12}{x}_1{x}_2+a_{21}{x}_1{x}_2+a_{22}{x}_2^2=a_{11}{x}_1^2+2a_{12}{x}_1{x}_2+a_{22}{x}_2^2$

如果有$x^{T}Ax=x^T{V}^{T}Vx=(Vx{)}^{T}Vx=y^{T}y=\sum y_i^2\ge 0$，则A是半正定的

$x_1^2+x_1{x}_2+x_2^2=(x_1+0.5x_2{)}^2+0.75x_2^2=0.75x_1^2+(0.5x_1+x_2{)}^2$可以看成

$x^{T}Ax=y^{T}By$

$A=\left(\begin{array}{cc}1& 0.5\\ 0.5& 1\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0.5& 1\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0& 0.75\end{array}\right)\left(\begin{array}{cc}1& 0.5\\ 0& 1\end{array}\right)=\left(\begin{array}{cc}1& 0.5\\ 0& 1\end{array}\right)\left(\begin{array}{cc}0.75& 0\\ 0& 1\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0.5& 1\end{array}\right)=V^{T}BV$

惯性定理：A与B是合同的，只要B只有对角线不为0，B对角线上正数的数目（正惯性指数）是固定的，负数的数目（负惯性指数）是固定的。
hessian在该值是正定的，证明该值时极小值

6、分解

如果$A=V^{T}V$则A为正定的，如果A为正定，则一定可以找到满足上式的V
cholesby分解：如果A是正定且对称的，存在L是下三角矩阵，使得$A=V^{T}V$

LU分解：A为$m\times n$矩阵，L为$m\times k$上三角矩阵，U为$k\times n$下三角矩阵，A=LU，$A^{-1}=(LU{)}^{-1}=U^{-1}{L}^{-1}$，转化为上三角矩阵和下三角矩阵求逆比较方便
$A=a_1{a}_1^T+a_2{a}_2^T+...+a_n{a}_n^T$
$(x^T{a}_1)(a_1^{T}x)\ge 0$

特征分解：$A=VD{V}^{-1}$，V是一组正交基：$V=(v_1,v_2,...,v_n),v_i{v}_j=0(i\ne j)即两个向量互相垂直,v_i\cdot v_i=1即长度为1，V{V}^{-1}=I为单位阵，V^{-1}=V^T$,D为对角阵，$A=VD{V}^{-1}={\sum }_{i=1}^n{d}_i{v}_i{v}_i^T\approx D_1{v}_i{v}_i^T+D_2{v}_j{v}_j^T,v_i为n\times 1的矩阵,D_1=\underset{i}{\max }{d}_i$

奇异值分解:$A=UD{V}^T=\sum _{i=1}^n{d}_i{u}_i{v}_i^T，U是m\times m正交矩阵，D是m\times n的对角矩阵，V是n\times n的正交矩阵$

$A{A}^T=UD{V}^T(UD{V}^T{)}^T=UD{V}^{T}V{D}^T{U}^T=U{D}^2{U}^T$

$A^{T}A=V{D}^2{V}^T$

QR分解：Q是指正交矩阵，R是指上三角矩阵，$A=QR,对A进行QR分解，A_0=Q_0{R}_0，A_1=R_0{Q}_0=Q_1{R}_1...经过几十轮迭代，A_n对角线上的值和特征值十分接近$