【机器学习】数学基础——线性代数篇

下面这几篇文章对我理解线性空间和矩阵有着非常大的帮助，有一种想见恨晚的感觉。

• 理解矩阵（一）
• 理解矩阵（二）
• 理解矩阵（三）

一、向量及其运算

维基百科：https://en.wikipedia.org/wiki/Euclidean_vector

向量：有大小(长度)和方向的物理对象，也称为矢量。有行向量和列向量。
$$\text{a}=\left[a_1,a_2,a_3\right],\text{b}=\left[b_1,b_2,b_3\right]$$

• 加减法：满足交换律、分配律和结合律。处于同一坐标系的两个向量可以进行加减法计算，对应元素相加或相减。
  $$\text{a}\pm \text{b}=\left[a_1\pm b_1,a_2\pm b_2,a_3\pm b_3\right]$$
• 数乘(Scalar multiplication)：向量中的每一个要素都要乘上标量$r(r\in \mathbb{R})$。
  $$r\text{a}=\left[r{a}_1,r{a}_2,r{a}_3\right]$$
• 点乘(Dot product)：也称为内积(inner product)，结果是标量。
  $$\text{a}\cdot \text{b}=a_1{b}_1+a_2{b}_2+a_3{b}_3$$
• 叉乘(Cross product)：解析几何中也称为外积(outer product)，结果是向量。
  $$\text{a}\times \text{b}=[a_2{b}_3-a_3{b}_2,a_3{b}_1-a_1{b}_3,a_1{b}_2-a_2{b}_1]$$
• 外积(Outer product)：线性代数中的外积，用符号$\circ$表示，结果是一个矩阵。
  $$\text{a}\circ \text{b}={\text{a}}^T\text{b}=\left[\begin{array}{ccc}{a}_1{b}_1& a_1{b}_2& a_1{b}_3\\ a_2{b}_1& a_2{b}_2& a_2{b}_3\\ a_3{b}_1& a_3{b}_2& a_3{b}_3\end{array}\right]$$
• 模(Norm)：也称为向量的长度(length)，通常用$\Vert \text{a}\Vert$表示。
  $$\Vert \text{a}\Vert =\sqrt{\text{a}\cdot \text{a}}=\sqrt{a_1^2+a_2^2+a_3^2}$$

二、矩阵及其运算

维基百科：https://en.wikipedia.org/wiki/Matrix_(mathematics)
     https://en.wikipedia.org/wiki/Invertible_matrix （逆矩阵）
     https://en.wikipedia.org/wiki/Adjugate_matrix （伴随矩阵）
     https://en.wikipedia.org/wiki/Generalized_inverse（ 广义逆）

矩阵：由数字、符号、表达式，组织成行和列的矩形数组。在应用中，矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。

• 矩阵乘法(Matrix multiplication)：如果，$A$是$m\times n$ 矩阵，$B$是$n\times p$ 矩阵，则$AB$是$m\times p$ 矩阵。矩阵$AB$的第$i$行$j$列的值是矩阵$A$的第$i$行与矩阵$B$的第$j$列的向量的点乘结果。矩阵乘法满足结合律和分配律，但不满足交换律。
• 转置矩阵：$m\times n$ 维的矩阵$A$，转置后得到的$A^T$ 的维度是$n\times m$ ,有$A_{ij}^T=A_{ji}$。
• 逆矩阵：对于方阵$A$，如果存在方阵$B$，使得$AB=BA=I_n$,其中$I_n$是单位矩阵,则称矩阵$A$和矩阵$B$互为逆矩阵。矩阵$A$可逆当且仅当它是满秩矩阵。
  $$A^{-1}=\frac{A^{\ast }}{\left|A\right|}$$ $$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]，是A的伴随矩阵,其中A_{ij}=(-1{)}^{i+j}{M}_{ij}$$$$M_{ij}是将矩阵A的元素a_{ij}所在的第i行第j列元素划去后，得到的n-1阶矩阵所确定的行列式$$
• 广义逆：伪逆矩阵是逆矩阵的广义形式。由于奇异矩阵或非方阵的矩阵不存在逆矩阵，定义一个与$A$的转置矩阵$A^T$ 同型的矩阵$X$。若满足条件1，称矩阵$X$是矩阵$A$的广义逆矩阵(generalized inverse)；若满足条件1、2，称矩阵$X$是矩阵$A$的自反广义逆(reflexive generalized inverse)；若同时满足4个条件，,此时称矩阵$X$是矩阵$A$的伪逆(pseudoinverse)。
  $$1.AXA=A；2.XAX=X；3.(AX{)}^{\ast }=AX；4.(XA{)}^{\ast }=XA$$

  要点：任何广义逆都可以用来确定线性方程组是否有解，如果有，则给出所有解。对于任意有解的$n\times m$线性方程组 $A\text{x}=b$，向量$\text{x}$未知，向量$b$是常量，矩阵$X$是矩阵$A$的广义逆，$\omega$是任意向量参数，则
$$\text{x}=Xb+[I-XA]\omega$$

  由上式可知，线性方程组有解，当且仅当$Xb$是其中的一个解。

三、张量及其运算

维基百科：https://en.wikipedia.org/wiki/Tensor

张量：几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。
$$A=\left[\begin{array}{cc}{a}_{1,1}& a_{1,2}\\ a_{2,1}& a_{2,2}\\ a_{3,1}& a_{3,2}\end{array}\right],B=\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{1,3}\end{array}\right]$$

• 张量积：张量在向量空间里的线性映射，用符号$⨂$表示，若张量$A$是$v\times w$,张量$B$是$x\times y$,则张量$A⨂B$是$(v\times x)\times (w\times y)$。
  $$\begin{array}{rl}A⨂B& =\left[\begin{array}{cc}{a}_{1,1}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]& a_{1,2}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]\\ a_{2,1}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]& a_{2,2}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]\\ a_{3,1}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]& a_{3,2}\left[\begin{array}{ccc}{b}_{1,1}& b_{1,2}& b_{1,3}\\ b_{2,1}& b_{2,2}& b_{2,3}\end{array}\right]\end{array}\right]\\ & =\left[\begin{array}{cccccc}{a}_{1,1}{b}_{1,1}& a_{1,1}{b}_{1,2}& a_{1,1}{b}_{1,3}& a_{1,2}{b}_{1,1}& a_{1,2}{b}_{1,2}& a_{1,2}{b}_{1,3}\\ a_{1,1}{b}_{2,1}& a_{1,1}{b}_{2,2}& a_{1,1}{b}_{2,3}& a_{1,2}{b}_{2,1}& a_{1,2}{b}_{2,2}& a_{1,2}{b}_{2,3}\\ a_{2,1}{b}_{1,1}& a_{2,1}{b}_{1,2}& a_{2,1}{b}_{1,3}& a_{2,2}{b}_{1,1}& a_{2,2}{b}_{1,2}& a_{2,2}{b}_{1,3}\\ a_{2,1}{b}_{2,1}& a_{2,1}{b}_{2,2}& a_{2,1}{b}_{2,3}& a_{2,2}{b}_{2,1}& a_{2,2}{b}_{2,2}& a_{22}{b}_{2,3}\\ a_{3,1}{b}_{1,1}& a_{3,1}{b}_{1,2}& a_{3,1}{b}_{1,3}& a_{3,2}{b}_{1,1}& a_{3,2}{b}_{1,2}& a_{3,2}{b}_{1,3}\\ a_{3,1}{b}_{2,1}& a_{3,1}{b}_{2,2}& a_{3,1}{b}_{2,3}& a_{3,2}{b}_{2,1}& a_{3,2}{b}_{2,2}& a_{3,2}{b}_{2,3}\end{array}\right]\end{array}$$

四、行列式与线性方程组

维基百科：https://en.wikipedia.org/wiki/Determinant
     https://en.wikipedia.org/wiki/System_of_linear_equations
行列式：在线性代数中，行列式是一个标量。方阵$A$的行列式记为$det(A)$、$detA$或者$|A|$。
$$|A|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$$$$\begin{array}{rl}|A|=\left|\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right|& =a\left|\begin{array}{ccc}\square & \square & \square \\ \square & e& f\\ \square & h& i\end{array}\right|-b\left|\begin{array}{ccc}\square & \square & \square \\ d& \square & f\\ g& \square & i\end{array}\right|+c\left|\begin{array}{ccc}\square & \square & \square \\ d& e& \square \\ g& h& \square \end{array}\right|\\ & =a\left|\begin{array}{cc}e& f\\ h& i\end{array}\right|-b\left|\begin{array}{cc}d& f\\ g& i\end{array}\right|+c\left|\begin{array}{cc}d& e\\ g& h\end{array}\right|\\ & =aei+bfg+cdh-afh-bdi-ceg\end{array}$$

线性方程组：在数学中，一个线性方程组是两个或两个以上的线性方程的集合，包含同一组变量。包含$n$个变量的$m$个线性方程组，可记作：
$$\begin{array}{rlr}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n& =& b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n& =& b_2\\ & ⋮& \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n& =& b_m\end{array}$$$$其中，x_1,x_2,\dots ,x_n是未知量，a_{11},a_{12},\dots ,a_{mn}是方程组的系数，b_1,b_2,\dots ,b_n是常量。$$

  矩阵方程式可记成$A\text{x}=b$。
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right],\text{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_m\end{array}\right]$$

五、二次型与正定性

维基百科：https://en.wikipedia.org/wiki/Quadratic_form
     https://en.wikipedia.org/wiki/Definiteness_of_a_matrix

二次型：多项式中每一项都是二次的，我们把这样的多项式称为二次型。二次型的多项式可写成如下，其中$a_{ij}=a_{ji},1\le i,j\le n$。
$$\begin{array}{rl}f(x_1,x_2,\dots ,x_n)& =a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n\\ & +a_{21}{x}_2{x}_1+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n\\ & +\cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdot \\ & +a_{n1}{x}_n{x}_1+a_{n2}{x}_n{x}_2+\cdots +a_{nn}{x}_n^2\end{array}$$$$令A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right],\text{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],$$

  则二次型可以写成如下，称为二次型的矩阵形式，其中$A$为对称矩阵，且与二次型$f$有一一对应关系，称$A$为二次型$f(x_1,x_2,\dots ,x_n)$的矩阵，$f$也称为对称矩阵$A$的二次型。
$$f(x_1,x_2,\dots ,x_n)=X^{T}AX$$

  要点：二次型的矩阵是唯一的，它的主对角线是平方项的系数，$a_{ij}$是$x_i{x}_j(i̸=j)$系数的一半。

正定性：设$M$是$n$阶方阵，如果对任何非零向量$z$，都有$z^{T}Mz>0$，其中$z^T$表示$z$的转置，就称$M$为正定矩阵。正定矩阵的定义及性质，详见参考资料，不再赘述。判别对阵矩阵$A$的正定性有两种方法：
  1.求出A的所有特征值。若$A$的特征值均为正数，则$A$是正定的；若$A$的特征值均为负数，则$A$为负定的。
  2.计算$A$的各阶顺序主子式。若$A$的各阶顺序主子式均大于零，则$A$是正定的；若$A$的各阶顺序主子式中，奇数阶主子式为负，偶数阶为正，则$A$为负定的。

六、矩阵分解

维基百科：https://en.wikipedia.org/wiki/LU_decomposition (LU分解)
     https://en.wikipedia.org/wiki/QR_decomposition (QR分解)
     https://en.wikipedia.org/wiki/Singular_value_decomposition (SVD)

矩阵分解 是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解 (Lower-upper,LU Decompositon)，2)QR 分解法 (QR Decompositon)，3)奇异值分解法 (Singular Value Decomposition)。

1）LU 分解：将一个矩阵分解成一个上三角矩阵和一个下三角矩阵的乘积。这种分解法得到的上下三角形矩阵并非唯一。在线性代数中已经证明，如果方阵是非奇异的，即的行列式不为0，LU分解总是存在的。LU分解常用来求解线性方程组，求逆矩阵或者计算行列式。
  求解过程：首先，对矩阵$A$通过初等行变换将其变为一个上三角矩阵，然后根据初等变化的初等矩阵求得下三角矩阵，即可。

2）QR分解：是将矩阵分解成一个正交矩阵(orthogonal matrix) $Q$与一个上三角形矩阵(upper triangular matrix)$R$。QR分解经常被用来解线性最小二乘问题。
  求解方法：1.Gram–Schmidt正交化法，用正交投影的思想得到一组正交基，易于实现，但容易产生数值误差；2.使用Householder变换，当矩阵$A$是$m\times n$($m\ge n$)，是数值稳定QR分解算法中最简单的，但算法计算量大；3.Givens rotations方法在只需要将相对较少的非对角元素归零的情况下非常有用，总的来说是最复杂的。

3）SVD：在线性代数中，奇异值分解(SVD)是一个实矩阵或复矩阵的因子分解。它是一个正半定矩阵(例如，一个具有正特征值的对称矩阵)的特征分解推广到任意$m\times n$矩阵通过极坐标分解的扩展。它在信号处理和统计中有许多有用的应用。SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。使用SVD分解法的用途是解最小平方误差法和数据压缩。

七、参考资料

1. 通俗理解张量tensor
2. 向量、矩阵、张量基础知识
3. 矩阵的广义逆
4. 正定矩阵与半正定矩阵定义性质与理解
5. 常见的几种矩阵分解方式（LU分解、QR分解）
6. 矩阵分析——QR分解
7. SVD 详解 与 spark实战