《神经网络》第二章：线性代数 笔记

1 向量索引表示

有向量$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$，有集合 S = { 1 , 3 , 6 } S=\{1,3,6\} S={1,3,6}，那么

• $x_S$,表示索引$x$向量中的1,3,6元素
• $x_{-S}$，表示除1,3,6以外的元素
• $x_{-1}$，表示除第一个元素以外的元素

2 矩阵索引表示

有矩阵$A_{m\times n}$

• $A_{i,:}$，表示第i行的所有元素
• $A_{:,i}$，表示第i列的所有元素
• $f(A{)}_{i,j}$，表示函数$f$作用于第i行第j列的元素

3 矩阵和标量的运算

• 矩阵相加

$$\begin{array}{rl}C& =A+B\\ C_{i,j}& =A_{i,j}+B_{i,j}\end{array}$$

• 标量和矩阵相乘及相加
  $$\begin{array}{rl}D& =a\cdot B+c\\ D_{ij}& =a\cdot B_{i,j}+c\end{array}$$
• 矩阵和向量相加
  $$\begin{array}{rl}C& =A+b\\ C_{i,j}& =A_{i,j}+b_j\end{array}$$
  向量和矩阵的每一行相加。隐式的复制向量b到很多位置的方式，称为广播
• Hadamard乘积/元素对应乘积($A⨀B$)

$$\begin{array}{rl}C& =A⨀B\\ C_{i,j}& =A_{i,j}\cdot B_{i,j}\end{array}$$

3 线性组合

$$\begin{array}{r}Ax=\sum _i{x}_i{A}_{:,i}\end{array}$$

4 解方程组

$$Ax=b$$

把A的列向量想象成从原点出发的不同方向，确定有多少方法可以到达b点。是否有解，相当于确定b是否在A的列向量张成的空间中。

5 奇异矩阵

列向量线性相关的方阵

6 范数

norm，把向量映射到非负值的函数
$$\parallel x{\parallel }_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$

• L2范数：在原点附近增长很缓慢，不好区分零元素和非零元素
• L1范数：当零元素和非零元素之间茶语非常重要的时候通常会使用L1范数。
• Frobenius范数:衡量矩阵的大小
  $$\parallel A{\parallel }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

7 标准正交

$$x^{T}y=0,\parallel x{\parallel }_2=1,\parallel y{\parallel }_2=1$$
则x,y是标准正交

8 正交矩阵

行向量和裂像狼分别是标准正交的方阵
$$A^{T}A=A{A}^T=I$$
$$A^{-1}=A^T$$

9 特征值，特征向量

• 右特征值，特征向量
  $$Av=\lambda v$$

• 特征分解
  设A有n个线性无关的特征向量 { v 1 , ⋯   , v n } \{v_1,\cdots,v_n\} {v1​,⋯,vn​}，对应的特征值 { λ 1 , ⋯   , λ n } \{\lambda_1,\cdots,\lambda_n\} {λ1​,⋯,λn​}；用特征向量构成一个矩阵$V=\left[\begin{array}{c}{v}_1,\cdots ,v_n\end{array}\right]$，特征值连成一个向量$\lambda ={\left[\begin{array}{c}{\lambda }_1,\cdots ,{\lambda }_n\end{array}\right]}^T$，那么
  $$A=Vdiag(\lambda )V^{-1}$$

• 每个实对称矩阵都可以分解成实特征向量和实特征值

10 正定

• 正定矩阵(positive definite)：所有特征值都是正数
• 半正定矩阵(psitive semidefinite):所有特征都是非负数的矩阵
• 负定矩阵：所有的特征值都是负数的矩阵
• 半负矩阵：所有的特征是都是非正数的矩阵。

如果是半正定矩阵，能保证$x^{T}Ax\ge 0$.
如果是正定矩阵，能保证$x^{T}Ax=0=>x=0$

11 奇异值分解

singular value decomposition,SVD
可以将矩阵分解为奇异向量(singular vector)和奇异值(singular value)

$$A=UD{V}^T$$
其中A矩阵维度是$m\times n$；U是正交矩阵,维度是$m\times m$；V是正交矩阵,维度是$n\times n$。D是对角矩阵，维度是$m\times n$。
$$\begin{array}{rl}A{A}^T& =UD{D}^T{U}^T\\ A^{T}A& =VD{D}^T{V}^T\end{array}$$

令$U=\left[\begin{array}{c}{u}_1,u_2,\cdots ,u_m\end{array}\right]$，$V=\left[\begin{array}{c}{v}_1,v_2,\cdots ,v_n\end{array}\right]$,$D={\left[\begin{array}{ccc}{\lambda }_1^{\frac{1}{2}}& 0& \cdots \\ 0& {\lambda }_2^{\frac{1}{2}}& \cdots \\ 0& \cdots & {\lambda }_n^{\frac{1}{2}}\\ \cdots & 0& \cdots \end{array}\right]}_{m\times n}$
那么
$$A={\lambda }_1^{\frac{1}{2}}{u}_1{v}_1^T+{\lambda }_2^{\frac{1}{2}}{u}_2{v}_2^T+\cdots +{\lambda }_n^{\frac{1}{2}}{u}_n{v}_n^T$$

12 伪逆，Moore-Penrosse

$$Ax=y$$

• 逆矩阵
  当A矩阵的维度$n\times n$且A可逆时
  $$x=A^{-1}y$$
• 伪逆矩阵

定义
$$A^{+}=\underset{\alpha ->0}{\lim }(A^{T}A+\alpha I)A^T$$
为A的伪逆矩阵。

如果A矩阵维度$m\times n,m̸=n$。使$Ax$与$y$尽可能相等
$$J=\min \parallel Ax-y{\parallel }^2$$
求导
$$\frac{\partial J}{\partial x}=(A^{T}Ax-A^{T}y)=0$$
即
$$A^{T}Ax=A^{T}y$$
$A^{T}A$是$n\times n$维对称矩阵。

1. 推导1

• 当$m>n$，$A^{T}A$一般可逆，此时$x=(A^{T}A{)}^{-1}{A}^{T}y$。
• 当$m<n$，$R(A^{T}A)<R(A)<n$，矩阵$A^{T}A$不可逆.
  令
  $$\begin{array}{rl}J& =\parallel Ax-y{\parallel }^2+\lambda \parallel x{\parallel }^2\\ \frac{\partial J}{\partial x}& =A^{T}Ax-A^{T}y+\lambda x=0\\ & (A^{T}A+\lambda I)x=A^{T}y\\ x& =(A^{T}A+\lambda I{)}^{-1}{A}^{T}y\end{array}$$

2. 推导2
   $A^{T}A$是对称矩阵，可对角化
   $$\begin{array}{rl}{A}^{T}A& =p^{-1}diag(\left[\begin{array}{c}{\lambda }_1,\cdots ,{\lambda }_n\end{array}\right]])p\\ |A^{T}A|& ={\lambda }_1\ast \cdots \ast {\lambda }_n\end{array}$$

• $x^T(A^{T}A)x=(Ax{)}^T(Ax)\ge 0\to {\lambda }_i\ge 0$，此时$|A^{T}A|$仍然可能为0，不一定可逆
• $x^T(A^{T}A+\lambda I)x=(Ax{)}^T(Ax)+\lambda x^{T}x>0\to {\lambda }_i>0$，此时$|A^{T}A+\lambda I|>0$恒成立，一定可逆

13 PCA

两种理解方式

• 投影后方差最大(已中心化)
  $$\begin{array}{rl}\max & \frac{1}{m}\sum (x^{T}w{)}^2\\ s.t.& w^{T}w=1\end{array}$$
• 最小方差（投影后点和原点距离最小）
  $$\min \sum [x-(x^{T}w)w{]}^2$$
  $$\begin{array}{rl}J& =\sum [x-(x^{T}w)w{]}^2\\ & =\sum [x-(x^{T}w)w{]}^T[x-(x^{T}w)w]\\ & =\sum [x^{T}x-x^T(x^{T}w)w-(x^{T}w)w^{T}x+(x^{T}w)(x^{T}w)w^{T}w]\\ & =\sum [x^{T}x-(x^{T}w{)}^2-(x^{T}w{)}^2+(x^{T}w{)}^2]\\ & =\sum (x^{T}x-(x^{T}w{)}^2)\\ J& =min\sum -(x^{T}w{)}^2\end{array}$$