数据挖掘day9-CS229-Linear Algebra Review and Reference

因为计划先看的凸优化，但是发现其中很多符号不认识（不同的机构使用的不一定一样）。过两天才看到这个线性代数综述，我觉得应该是我的顺序搞反了，所以，将这一篇的日期顺序排的靠前点。其实我更推荐看原文章或翻译：中文翻译，不过这里我会把公式都打出来，主要是联系一下Latax。
（未完待填坑）

1、基本概念和符号

方程组：
$4x_1-5x_2=-13$
$-2x_1+3x_2=9$

可以写成线性代数的形式：

$Ax=b$ 其中： $A=\left[\begin{array}{cc}4& -5\\ -1& 3\end{array}\right]$,$b=\left[\begin{array}{c}-13\\ 9\end{array}\right]$

1.1、基本符号

采用以下符号：
· $A\in {\mathbb{R}}^{m\times n}$ ，表示一个m行n列的矩阵，并且矩阵A中的所有元素都是实数。
· $x\in {\mathbb{R}}^n$ ，表示一个含有n个元素的向量，通常，我们把n维向量看成是一个n行1列矩阵，即列向量。如果我们想表示一个行向量（1行n列矩阵），我们通常写作$x^T$，即x的转置。
· 向量的第i个元素写作$x_i$：

$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$

·采用$a_{ij}(or{A}_{ij},A_{i,j},etc)$表示A的$i$行$j$列元素

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$

·采用$a_j(or{A}_{:,j})$表示A的$j$列元素

$A=\left[\begin{array}{cccc}|& |& & |\\ a_1& a_2& \cdots & a_n\\ |& |& & |\end{array}\right]$

·采用$a_i^T(or{A}_{i,:})$表示A的$i$行元素

$A=\left[\begin{array}{ccc}—& a_1^T& —\\ —& a_2^T& —\\ & ⋮& \\ —& a_m^T& —\end{array}\right]$

2、矩阵乘法

百度百科-矩阵乘法
矩阵$A\in {\mathbb{R}}^{m\times n}$和$B\in {\mathbb{R}}^{n\times P}$的乘积：
$C=AB\in {\mathbb{R}}^{m\times p}$
其元素为$C_{ij}=\sum _{k=1}^n{A}_{ik}{B}_{kj}$

2.1、向量乘积

内积：
$x,y\in {\mathbb{R}}^n$，的点积/内积为$x^{T}y$，是一个实数
$x^{T}y\in \mathbb{R}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\sum _{i=1}^n{x}_i{y}_i$

内积是矩阵乘法的特例，通常$x^{T}y=y^{T}x$

外积：
$x\in {\mathbb{R}}^m,y\in {\mathbb{R}}^n$，$x{y}^T\in {\mathbb{R}}^{m\times n}$为向量的外积

$x{y}^T\in {\mathbb{R}}^{m\times n}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]=\left[\begin{array}{cccc}{x}_1{y}_1& x_1{y}_2& \cdots & x_1{y}_n\\ x_2{y}_1& x_2{y}_2& \cdots & x_2{y}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_m{y}_1& x_m{y}_2& \cdots & x_m{y}_n\end{array}\right]$

外积写法的例子，$1\in {\mathbb{R}}^n$是元素都为1的n维向量，$A\in {\mathbb{R}}^{m\times n}$是m行n列矩阵，每一列都是$x\in {\mathbb{R}}^m$，A可以简洁的写作

$A=\left[\begin{array}{cccc}|& |& & |\\ x& x& \cdots & x\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{x}_1& x_1& \cdots & x_1\\ x_2& x_2& \cdots & x_2\\ ⋮& ⋮& \ddots & ⋮\\ x_m& x_m& \cdots & x_m\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_1\\ ⋮\\ x_1\end{array}\right]\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]=x{1}^T$

2.2、矩阵-向量乘法

右乘列向量的写法：
矩阵$A\in {\mathbb{R}}^{m\times n}$与向量$x\in {\mathbb{R}}^n$的乘积为向量$y=Ax\in {\mathbb{R}}^m$
行的形式:
来写$A，Ax$，$y_i=a_i^{T}x$：

$y=Ax=\left[\begin{array}{ccc}—& a_1^T& —\\ —& a_2^T& —\\ & ⋮& \\ —& a_m^T& —\end{array}\right]x=\left[\begin{array}{ccc}—& a_1^{T}x& —\\ —& a_2^{T}x& —\\ & ⋮& \\ —& a_m^{T}x& —\end{array}\right]$

列的形式:
来写$A，Ax$：

$y=Ax=\left[\begin{array}{cccc}|& |& & |\\ a_1& a_2& \cdots & a_n\\ |& |& & |\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_1\\ ⋮\\ x_1\end{array}\right]=[a_1]x_1+[a_2]x_2+\cdots +[a_n]x_n$

左乘行向量的写法：

$A\in {\mathbb{R}}^{m\times n}$,$x\in {\mathbb{R}}^m$,$y\in {\mathbb{R}}^n$，则$y^T=x^{T}A$

行的形式:

$y^T=x^{T}A=x^T\left[\begin{array}{cccc}|& |& & |\\ a_1& a_2& \cdots & a_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{x}^T{a}_1& x^T{a}_2& \cdots & x^T{a}_n\end{array}\right]$

列的形式:

$y^T=x^{T}A=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{ccc}—& a_1^T& —\\ —& a_2^T& —\\ & ⋮& \\ —& a_m^T& —\end{array}\right]$

$=x_1\left[\begin{array}{ccc}—& a_1^T& —\end{array}\right]+x_2\left[\begin{array}{ccc}—& a_2^T& —\end{array}\right]+\cdots +x_n\left[\begin{array}{ccc}—& a_n^T& —\end{array}\right]$

2.3、矩阵乘法

基于以上的知识，矩阵乘法$C=AB$有4种表示方式

A的行，B的列： 最常用的方式

$C=AB=\left[\begin{array}{ccc}—& a_1^T& —\\ —& a_2^T& —\\ & ⋮& \\ —& a_m^T& —\end{array}\right]\left[\begin{array}{cccc}|& |& & |\\ b_1& b_2& \cdots & a_p\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{a}_1^{T}b1& a_1^{T}b1& \cdots & a_1^{T}b1\\ a_1^{T}b1& a_1^{T}b1& \cdots & a_1^{T}b1\\ ⋮& ⋮& \ddots & ⋮\\ a_1^{T}b1& a_1^{T}b1& \cdots & a_1^{T}b1\end{array}\right]$

A的列，B的行：

$C=AB=\left[\begin{array}{cccc}|& |& & |\\ a_1& a_2& \cdots & a_p\\ |& |& & |\end{array}\right]\left[\begin{array}{ccc}—& b_1^T& —\\ —& b_2^T& —\\ & ⋮& \\ —& b_n^T& —\end{array}\right]=\sum _{i=1}^n{a}_i{b}_i^T$

或者，可以看作是一系列的向量-矩阵乘积：
B以列向量表示：

$C_i=A{b}_i$

$C=AB=A\left[\begin{array}{cccc}|& |& & |\\ b_1& b_2& \cdots & b_p\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ A{b}_1& A{b}_2& \cdots & A{b}_p\\ |& |& & |\end{array}\right]$

A以行向量表示：

$C_i^T=a_i^{T}B$

$C=AB=\left[\begin{array}{ccc}—& b_1^T& —\\ —& b_2^T& —\\ & ⋮& \\ —& b_n^T& —\end{array}\right]B=\left[\begin{array}{ccc}—& a_1^{T}B& —\\ —& a_2^{T}B& —\\ & ⋮& \\ —& a_m^{T}B& —\end{array}\right]$

矩阵乘法的性质： （前面线性代数的本质更加形象）
·结合律 $(AB)C=A(BC)$
·分配率$A(B+C)=AB+AC$
·没有交换律！！

3、运算和性质

3.1、单位矩阵与对角矩阵

单位矩阵只有对角线位置是1，其余都是0的矩阵

$I_{ij}=\{\begin{array}{cc}1& i=j\\ 0& i\ne j\end{array}$ (不等于号打出来有问题）

$AI=A=IA$

对角矩阵只有对角不为零

$D_{ij}=\{\begin{array}{cc}{d}_i& i=j\\ 0& i\ne j\end{array}$

3.2、转置

行列反转，$A\in {\mathbb{R}}^{m\times n}$转置为$A^T\in {\mathbb{R}}^{n\times m}$

其元素为$(A^T{)}_{ij}=A_{ji}$

性质：$(A^T{)}^T=A$，$(AB{)}^T=B^T{A}^T$ ，$(A+B{)}^T=A^T+B^T$

3.3、对称矩阵

$A\in {\mathbb{R}}^{n\times n}$,如果$A=A^T$，那就是对称的，如果$A=(-A^T)$那就是反对称的
任何矩阵A，$A+A^T$是对称的，$A-A^T$是反对称的，因此

$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$

通常将大小为n的对称矩阵几何表示为 ${\mathbb{S}}^n$，因此$A\in {\mathbb{S}}^n$表示A是$n\times n$对称矩阵

3.4、迹

方阵$A\in {\mathbb{R}}^n$的迹，记做$tr(A)$，可以省略括号 $trA$，是矩阵的对角线元素之和：

$trA=\sum _{i=1}^n{A}_{ii}$

性质如下：

$A\in {\mathbb{R}}^{n\times n}$，$trA=tr{A}^T$
$A,B\in {\mathbb{R}}^{n\times n}$，$tr(A+B)=trA+trB$
$A\in {\mathbb{R}}^{n\times n},t\in \mathbb{R}$，$tr(tA)=ttrA$
A,B,C都是方阵，$trAB=trBA$,$trABC=trBCA=trCBA$，方阵更多类推

3.5、范数

中间部分内容较多，后面再补上，

3.11、二次型和半正定矩阵

参见二次型的几何意义-知乎