【机器学习】基础之线性代数(超详细总结)

此博文markdown原文链接，猛戳这里！！

标量、向量、矩阵和张量

• 标量$(\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{a}\mathrm{r})$：一个单独的数，一般用斜体表示标量，通常是小写字母。定义标量时，通常会指出其所属类型。比如定义自然数标量时，会这样定义"$令n\in \mathbb{N}$表示元素数目"。
• 向量$(\mathrm{v}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{o}\mathrm{r})$：一列数，并且有序排列。通过索引可以定位到每个单独的数。通常用小写的斜粗体字母表示。通常也会指出其所属类型。若每个元素都属于$\mathbb{R}$，并且该向量有$n$个元素，那么该向量输入实数集$\mathbb{R}$的$n$次笛卡尔积构成的集合，记为${\mathbb{R}}^n$，即：$\mathbf{x}\in {\mathbb{R}}^n$。

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$

​ 可以将向量看做空间中的点，每个元素是不同坐标轴上的坐标。

• 矩阵$(\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x})$：一个二维数组，每个元素被两个索引唯一确定。通常用斜粗体大写来表示矩阵，如$\mathbf{A}$。如果矩阵的高度为$m$，宽度为$n$。则说$\mathbf{A}\in {\mathbb{R}}^{m\times n}$。$A_{m,n}$来表示矩阵中$m$行$n$列的元素。表示$i$行元素用$A_{i,:}$，表示$j$列元素用$A_{:,j}$。

$$\mathbf{A}=\left[\begin{array}{cc}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\end{array}\right]$$

​ 有时需要对矩阵逐元素进行操作，可以用$f(\mathbf{A}{)}_{i,j}$表示$f$作用在矩阵元素$A_{i,j}$上。

• 张量$(\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{o}\mathrm{r})$：多于二维的数组。用$\mathsf{A}$表示张量，${\mathsf{A}}_{i,j,k}$表示其元素。

import numpy as np
# 标量 
s = 5
print(s)
# 向量
v = np.array([1, 2])
print(v)
# 矩阵
m = np.array([[1, 3], [2, 4]])
print(m)
# 张量
t = np.array([
    [[1,2,3], [2,3,4]],
    [[3,4,5], [4,5,6]],
    [[5,6,7], [6,7,8]]
])
print(t)

矩阵转置

矩阵转置就是将原矩阵沿主对角线翻转，矩阵$\mathbf{A}$的转置表示为$\mathbf{A}={\mathbf{A}}^{\mathrm{T}}$，定义如下
$$({\mathbf{A}}^{\mathrm{T}}{)}_{i,j}={\mathbf{A}}_{j,i}$$
向量可以看做只有一列的矩阵，那么向量的转置就可以视为只有一行的矩阵。标量可以视为一行一列的矩阵，其转置等于自身。$a^{\mathrm{T}}=a$.

A = np.array([[1, 2, 3],[1, 0, 2]])
A_t = A.transpose()

矩阵加法

加法对应元素相加，要求两个矩阵必须形状相同。
$$\mathbf{C}=\mathbf{A}+\mathbf{B},C_{i,j}=A_{i,j}+B_{i,j}$$
标量和矩阵相乘，或者和矩阵相加时，只需要将其与矩阵的每个元素相乘或者相加。
$$\mathbf{D}=a\cdot \mathbf{B}+c,其中D_{i,j}=a\cdot B_{i,j}+c$$

A = np.array([
    [1, 2, 3], [4, 5, 6]
])

B = np.array([
    [1, 2, 3], [4, 5, 6]
])

C = A + B
print(C)
# [[ 2  4  6]
#  [ 8 10 12]]

D = 2 * B + 1
print(D)
# [[ 3  5  7]
#  [ 9 11 13]]

矩阵和向量相乘

向量内积：两个向量的对应元素相乘并相加。
$$\mathbf{a}\cdot \mathbf{b}=\left|\mathbf{a}\right||\mathbf{b}|\cos \theta ,\theta 是两个向量的夹角$$
从上述表达式中我们可以看出，向量内积的物理含义就是向量$\mathbf{a}$在$\mathbf{b}$方向上的投影长度，若$\mathbf{b}$的模是$1$，则$\mathbf{a}\cdot \mathbf{b}=\left|\mathbf{a}\right|\cos \theta$，该结论同样可以适用于矩阵相乘，在后面的矩阵线性变换中我们会用到该结论。

矩阵相乘：矩阵${\mathbf{A}}_{m\times p}$和矩阵${\mathbf{B}}_{p\times n}$的乘积可以表示为
$${\mathbf{C}}_{m\times n}={\mathbf{A}}_{m\times p}{\mathbf{B}}_{p\times n}$$
其中，矩阵$\mathbf{A}$的列数和矩阵$\mathbf{B}$的行数必须相同，得到的矩阵$\mathbf{C}$是$m$行$n$列。具体的乘法操作如下
$$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$$
该矩阵乘积不是矩阵对应元素相乘，但是这种操作也确实存在，被称为元素对应乘积或者叫Hadamard乘积，记为$\mathbf{A}⨀\mathbf{B}$。

矩阵相乘服从分配律和结合律，但并不满足交换律。两个向量的点积满足交换律：
$${\mathbf{x}}^{\mathrm{T}}\mathbf{y}={\mathbf{y}}^{\mathrm{T}}\mathbf{x}$$
其中$x$是$n$行$1$列，转置之后是$1$行$n$列，乘以$y$是$n$行$1$列，最终结果是$1$行$1$列，和右边结果相同。
矩阵乘积的转置有
$$(\mathbf{A}\mathbf{B}{)}^{\mathrm{T}}={\mathbf{B}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}$$
两个向量的点积是标量，标量转置的结果是自身，可以通过上述结论得到
$${\mathbf{x}}^{\mathrm{T}}\mathbf{y}=({\mathbf{x}}^{\mathrm{T}}\mathbf{y}{)}^{\mathrm{T}}={\mathbf{y}}^{\mathrm{T}}\mathbf{x}$$
了解矩阵乘积之后，我们就可以用矩阵乘积的方式来表示线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$. 其中$\mathbf{A}\in {\mathbb{R}}^{m\times n}$是一个已知矩阵$m$行$n$列，$\mathbf{x}\in {\mathbb{R}}^n$是一个求解$n$行未知向量，$\mathbf{b}\in {\mathbb{R}}^m$是一个已知向量。这样就可以提供一个更紧凑的表示。

A = np.array([
    [1, 2, 3], [4, 5, 6]
])

A1 = np.array([
    [1, 2, 3], [2, 3, 4]
])

B = np.array([
    [1, 2, 3], [3, 4, 5], [5, 6, 7]
])

C = A.dot(B)  # 点乘 矩阵乘积
C = np.dot(A, B)
# C = np.dot(B, A)  # 不满足交换律

print("矩阵(点)乘积: \n", C)
# [[22 28 34]
#  [49 64 79]]

print("矩阵逐元素乘积: \n", np.multiply(A, A1))
print("矩阵逐元素乘积: \n", A * A1)
# [[1  4  9]
#  [8 15 24]]

v1 = np.array([1, 2, 3])
v2 = np.array([4, 5, 6])
v = v1.dot(v2)  # 向量内积  结果为标量
v = np.dot(v1, v2)
v = np.dot(v2, v1)  # 满足交换律
print("向量内积: ", v)
# 32

逆矩阵和单位矩阵

单位矩阵$(\mathrm{i}\mathrm{d}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{t}\mathrm{y}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x})$，所有沿主对角线的元素都是1，其他所有位置的元素都是0。任何矩阵和单位矩阵乘积都不会变。单位矩阵记作${\mathbf{I}}_n\in {\mathbb{R}}^{n\times n}$。
矩阵$\mathbf{A}$的矩阵逆记作${\mathbf{A}}^{-1}$，满足
$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n$$
因此，$\mathbf{A}\mathbf{x}=\mathbf{b}$中可求得$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$.

A = [[1.0,2.0],[3.0,4.0]]
A_inv = np.linalg.inv(A)
print(A_inv)
# [[-2.   1.]
#  [1.5 - 0.5]]

线性相关和生成子空间

线性相关：若$\mathbf{a}=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{n}}]$中每个向量都能由其他向量线性表示，则$\mathbf{a}$是线性相关的。也就是说，存在不全为$0$的数$k_1,k_2,\cdots ,k_n$，使得
$$k_1{\mathbf{a}}_1+k_2{\mathbf{a}}_2+\cdots +k_n{\mathbf{a}}_n=0$$
成立，那么$\mathbf{a}$中的向量线性相关。否则，线性无关。若它们两两正交，那么也是线性无关。

如果逆矩阵${\mathbf{A}}^{-1}$存在，那么对于每个向量$\mathbf{b}$，必然存在一个解。但是对于方程组而言，对于向量$\mathbf{b}$的某些值可能不存在解，或者存在无限多解。存在多于一个解但是少于无限个解的情况不可能存在。因为如果x和y都是都方程解，那么
$$\mathbf{z}=\alpha \mathbf{x}+(1-\alpha )\mathbf{y}$$
也是该方程的解。

矩阵必须是一个方阵，并且所有的列向量线性无关，一个列向量线性相关的方阵被称为奇异的。如果矩阵A不是一个方阵或者是一个奇异的方阵，该方阵可能任然有解，但不能用矩阵逆法求解。

范数

范数$(\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m})$用于衡量向量大小。形式上$L^P$范数定义如下：
$${\Vert \mathbf{x}\Vert }_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$$
其中$p\in \mathbb{R},p\ge 1$。

范数是将向量映射到非负值的函数。直观来说，向量$\mathbf{x}$的范数衡量源点到点$x$的距离。

$L^2$范数：也叫作欧几里得范数，$||x|{|}_2$为欧几里得距离。有时也用$L^2$范数的平方来衡量向量：${\mathbf{x}}^T\mathbf{x}$。平方$L^2$范数在计算上更为便利。例如它对$\mathbf{x}$的梯度的各个分量只依赖于x对应的各个分量，而$L^2$范数则对$\mathbf{x}$的梯度的各个分量要依赖于整个$x$向量。
$${\Vert \mathbf{x}\Vert }_2=\sqrt{\sum _i{x}_i^2}$$
$L^1$范数：$L^2$范数并不一定适用于所有情况，他在原点附近就增长十分缓慢，因此不适用于需要区别$0$和非常小但是非$0$值的情况。$L^1$范数就是一个比较好的选择，它在所有方向的增长速度是一样的。定义如下
$${\Vert x\Vert }_1=\sum _i\left|x_i\right|$$
$L^{\infty }$范数：在数学意义上来说是向量元素绝对值的最大值，也叫作$\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}$。
$${\Vert \mathbf{x}\Vert }_{\infty }=\underset{i}{\max }\left|x_i\right|$$
衡量矩阵在机器学习中使用的是$F$范数$(\mathrm{F}\mathrm{r}\mathrm{o}\mathrm{b}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{u}\mathrm{s}\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m})$，定义如下：
$${\Vert \mathbf{A}\Vert }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$
其类似于$L^2$范数，两个向量的点积也可以用范数来表示，
$${\mathbf{x}}^{\mathrm{T}}\mathbf{y}={\Vert \mathbf{x}\Vert }_2{\Vert \mathbf{y}\Vert }_2\cos \theta$$

v = np.array([1, 2, 3, 4])
print("向量1范数: ", np.linalg.norm(v, ord=1))
print("向量2范数: ", np.linalg.norm(v, ord=2))
print("向量无穷范数: ", np.linalg.norm(v, ord=np.inf))
m = np.array([
    [1, 2],
    [3, 4]
])
print("矩阵F范数: ", np.linalg.norm(m, ord="fro"))

# 向量1范数:  10.0
# 向量2范数:  5.477225575051661
# 向量无穷范数:  4.0
# 矩阵F范数:  5.477225575051661

线性空间

• 定义：设 $V$ 是非空集合, $\mathbf{R}$ 为实数域，如果对任意两个元素 $\mathbf{\alpha },\mathbf{\beta }\in V$, 总有唯一的一个元素 $\gamma \in$ $V$ 与之对应,称为 $\mathbf{\alpha }$ 与 $\mathbf{\beta }$ 的和, 记为 $\mathbf{\gamma }=\mathbf{\alpha }+\mathbf{\beta }$; 对任一数 $\lambda \in \mathbf{R}$ 与任一元素 $\mathbf{\alpha }\in V$,总有唯一一个元素 $\mathbf{\delta }\in V$ 与之对应,称为 $\lambda$ 与 $\mathbf{\alpha }$ 的积,记为 $\mathbf{\delta }=\lambda \mathbf{\alpha }$. 这两种运算满足下面各条运算规律:

1. 交换律 $\mathbf{\alpha }+\mathbf{\beta }=\mathbf{\beta }+\mathbf{\alpha }$;

2. 结合律 $(\mathbf{\alpha }+\mathbf{\beta })+\mathbf{r}=\mathbf{\alpha }+(\mathbf{\beta }+\mathbf{\gamma })$;

3. 有零元 $0\in V$. 使任意 $\mathbf{\alpha }\in V$ 有 $0+\mathbf{\alpha }=\mathbf{\alpha }$;

4. 有负元素 对任一 $\mathbf{\alpha }\in V$, 都有 $\mathbf{\alpha }$ 的负元素 $\mathbf{\beta }\in V$, 使 $\mathbf{\alpha }+\mathbf{\beta }=0$;

5. 有单位元 $1\cdot \mathbf{\alpha }=\mathbf{\alpha }$;

6. 乘法结合律 $\lambda (\mu \mathbf{\alpha })=(\lambda \mu )\mathbf{\alpha }$;

7. 对数的分配律 $(\lambda +\mu )\mathbf{\alpha }=\lambda \mathbf{\alpha }+\mu \mathbf{\alpha };$

8. 对元素的分配律 $\lambda (\mathbf{\alpha }+\mathbf{\beta })=\lambda \mathbf{\alpha }+\lambda \mathbf{\beta }$.

   则称 $V$ 为线性空间(或向量空间), $V$ 中的元素统称为向量.

• 线性空间的基：若线性空间$V$中存在$n$个元素$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$，它们线性无关且$V$中任意一个元素$\mathbf{\alpha }$可由$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$线性表示，则称$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$为线性空间$V$的一个基，$n$表示空间的维数。

• 坐标：假设$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$为线性空间$V$的一个基，对于$V$中的任意一个元素$\mathbf{\alpha }$，可以用一组有序数$(x_1,x_2,x_3,\cdots ,x_n)$，使得
  $$\mathbf{\alpha }=x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+\cdots +x_n{\mathbf{\alpha }}_n$$
  则$(x_1,x_2,x_3,\cdots ,x_n{)}^{\mathrm{T}}$成为元素$\mathbf{\alpha }$在基$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$下的坐标。记作
  $$\mathbf{\alpha }={\left(x_1,x_2,\cdots ,x_n\right)}^{\mathrm{T}}$$

• 基变换：设$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$和$[{\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n]$都是线性空间下的基，且
  $$\{\begin{array}{l}{\mathbf{\beta }}_1=p_{11}{\mathbf{\alpha }}_1+p_{21}{\mathbf{\alpha }}_2+\cdots +p_{n1}{\mathbf{\alpha }}_n\\ {\mathbf{\beta }}_2=p_{12}{\mathbf{\alpha }}_1+p_{22}{\mathbf{\alpha }}_2+\cdots +p_{n2}{\mathbf{\alpha }}_n\\ ⋮\\ {\mathbf{\beta }}_n=p_{1n}{\mathbf{\alpha }}_1+p_{2n}{\mathbf{\alpha }}_2+\cdots +p_{nn}{\mathbf{\alpha }}_n\end{array}$$
  等价于
  $$\left[\begin{array}{c}{\mathbf{\beta }}_1\\ {\mathbf{\beta }}_2\\ ⋮\\ {\mathbf{\beta }}_n\end{array}\right]={\mathbf{P}}^{\mathrm{T}}\left[\begin{array}{c}{\mathbf{\alpha }}_1\\ {\mathbf{\alpha }}_2\\ ⋮\\ {\mathbf{\alpha }}_n\end{array}\right]$$
  或者
  $$\left({\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n\right)=\left({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n\right)\mathbf{P}$$
  上式称为基坐标变换公式，$\mathbf{P}$称为过渡矩阵，由于$\left({\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n\right)$线性无关，因此矩阵$\mathbf{P}$可逆。

• 坐标变换：假设线性空间$V$中的向量$\mathbf{a}$在基$[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$下的坐标为$(x_1,x_2,x_3,\cdots ,x_n{)}^{\mathrm{T}}$，在基$[{\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n]$下的坐标为$(x_1^{\prime },x_2^{\prime },x_3^{\prime },\cdots ,x_n^{\prime }{)}^{\mathrm{T}}$,且两个基满足上述基变换关系，则有
  $$\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)=\mathbf{P}\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ ⋮\\ x_n^{\prime }\end{array}\right),\text{ 或 }\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ ⋮\\ x_n^{\prime }\end{array}\right)={\mathbf{P}}^{-1}\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$
  证明：令$\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^{\mathrm{T}},{\mathbf{x}}^{\prime }=(x_1^{\prime },x_2^{\prime },\cdots x_n^{\prime }{)}^{\mathrm{T}},\mathrm{A}=[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n],\mathrm{B}=[{\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n]$.$(\mathrm{A}是大写的\alpha 并不是英文字母A)$

  则
  $$\begin{gathered} \mathrm{A}\mathbf{x}=\mathbf{\alpha }=\mathrm{B}{\mathbf{x}}^{\prime }=\mathrm{A}\mathbf{P}{x}^{\prime } \\ \mathbf{x}=\mathbf{P}{\mathbf{x}}^{\prime } \end{gathered}$$
  上式成立。

• 线性映射(变换)：设$V_n,U_m$分别是两个线性空间，$T$是一个从$V_n$到$U_m$的映射，若映射$T$满足：

  对$\forall {\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2\in V_n$，有$T({\mathbf{\alpha }}_1+{\mathbf{\alpha }}_2)=T({\mathbf{\alpha }}_1)+T({\mathbf{\alpha }}_2)$；

  对$\forall \mathbf{\alpha }\in V_n,\lambda \in \mathbb{R}$，有$T(\lambda \mathbf{\alpha })=\lambda T(\mathbf{\alpha })$ .

  那么$T$被称为从$V_n$到$U_m$的线性映射或者线性变换。

  矩阵变换的几何意义：要想准确描述一个向量，我们必须明确该向量所在的基，并且找出该向量在基每个分量上的投影长度。假设以二维笛卡尔直角坐标系为基础研究，将$\mathbf{x}=(1,0{)}^{\mathrm{T}},\mathbf{y}=(0,1{)}^{\mathrm{T}}$作为空间中的一组基。表示成矩阵的形式就是
  $$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$
  由向量内积的物理含义可知，二维笛卡尔直角坐标系中的向量$(4,2)$就表示为：
  $$\begin{gathered} (4,2)\mathbf{x}=4 \\ (4,2)\mathbf{y}=2 \\ {\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)}^{\mathrm{T}}\left(\begin{array}{c}4\\ 2\end{array}\right)=\left(\begin{array}{c}4\\ 2\end{array}\right) \end{gathered}$$
  可以看出，将该向量在基的每个分量上求投影值，就可以得到它在该基定义的空间中的坐标。一般地我们希望基的模是$1$，由向量内积几何意义可知，此时直接可以求出向量在基上的坐标。
  同样的，假设我们要把$m$个$n$维向量，映射到一个新的基表示的空间中，其中基是$k$个$n$维向量，可以表示如下：${\mathbf{X}}_{n\times m}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m]$，${\mathbf{x}}_i$是一个$n$维列向量，${\mathbf{P}}_{n\times k}=[{\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_k]$，${\mathbf{p}}_i$是一个$n$维列向量，每个列向量是一个基向量。
  $${\mathbf{P}}_{n\times k}^{\mathrm{T}}{\mathbf{X}}_{n\times m}=\left[\begin{array}{c}{\mathbf{p}}_1^{\mathrm{T}}\\ {\mathbf{p}}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{p}}_k^{\mathrm{T}}\end{array}\right]\left[\begin{array}{c}{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m\end{array}\right]={\left[\begin{array}{cccc}{\mathbf{p}}_1^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{p}}_1^{\mathrm{T}}{\mathbf{x}}_2& \cdots & {\mathbf{p}}_1^{\mathrm{T}}{\mathbf{x}}_m\\ {\mathbf{p}}_2^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{p}}_2^{\mathrm{T}}{\mathbf{x}}_2& \cdots & {\mathbf{p}}_2^{\mathrm{T}}{\mathbf{x}}_m\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{p}}_k^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{p}}_k^{\mathrm{T}}{\mathbf{x}}_2& \cdots & {\mathbf{p}}_k^{\mathrm{T}}{\mathbf{x}}_m\end{array}\right]}_{k\times m}={\mathbf{Z}}_{k\times m}$$
  由上述表达式可知，最终计算出的${\mathbf{Z}}_{k\times m}$矩阵就是矩阵$\mathbf{X}$经过基$\mathbf{P}$变换之后的结果，其中${\mathbf{p}}_i^{\mathrm{T}}{\mathbf{x}}_j$是标量 。矩阵相乘实质就是将右边矩阵中的每一列向量变换到以左边矩阵行向量为基表示的空间中去。通过观察变换后的矩阵，我们发现该矩阵的维度可能发生改变，因此可以实现矩阵降维。当然，要想将该矩阵变换到原先基表示的空间中，只需要在变换之后的矩阵左乘${\mathbf{P}}^{-1}$即可。$\mathbf{P}$通常被假设为一组标准正交基，这样一来更加方便计算。比如可以利用性质${\mathbf{P}}^{-1}\mathbf{P}=\mathbf{I},{\mathbf{P}}^{\mathrm{T}}\mathbf{P}=\mathbf{I},{\mathbf{P}}^{-1}={\mathbf{P}}^{\mathrm{T}}$。但只要矩阵$\mathbf{P}$是的列向量线性无关即可进行坐标变换。

特殊矩阵和向量

• 对角矩阵$(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\mathrm{o}\mathrm{n}\mathrm{a}\mathrm{l}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x})$：只在主对角线上含有非零元素，其他位置都是零。单位矩阵就是对角矩阵。用$\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{v})$表示一个对角元素由向量$\mathbf{v}$中元素给定的对角方阵。

• 对角矩阵的乘法非常方便，计算$\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{v})\mathbf{x}$，只需要将$\mathbf{x}$中的每个元素$x_i$放大$v_i$倍。

• 不是所有的对角矩阵都是方阵，长方形矩阵也可能是对角矩阵。非方阵的对角阵没有逆矩阵，但仍然可以高效计算矩阵乘法。

• 对称矩阵$(\mathrm{s}\mathrm{y}\mathrm{m}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x})$是转置和自己相等的矩阵。

• 单位向量$(\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{t}\mathrm{v}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{o}\mathrm{r})$是具有单位范数的向量，也就是2范数为$1$。

• 标准正交：若是向量的点积为$0$,那么两个向量正交。如果两个向量都有非零范数，那么这两个向量之间的夹角是$90^{\circ }$。在${\mathbb{R}}^n$中，至多有$n$个范数非零的向量互相正交，若这些向量不仅互相正交，而且范数都为$1$，则为标准正交。

• 正交矩阵$(\mathrm{o}\mathrm{r}\mathrm{t}\mathrm{h}\mathrm{o}\mathrm{g}\mathrm{o}\mathrm{n}\mathrm{a}\mathrm{l}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x})$：指行向量和列向量分别标准正交的方阵，也就是
  $$\begin{gathered} {\mathbf{A}}^{\mathrm{T}}\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\mathrm{T}}=\mathbf{I} \\ {\mathbf{A}}^{-1}={\mathbf{A}}^{\mathrm{T}} \end{gathered}$$
  正交矩阵求逆计算代价小。$|\mathbf{A}|=1$

  假设矩阵$\mathbf{A}$是一个列向量矩阵$\mathbf{A}=\left[{\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,\cdots ,{\mathbf{x}}_n\right]$。

  则有
  $$\begin{array}{rl}{\mathbf{A}}^{\mathrm{T}}\mathbf{A}& =\left[\begin{array}{c}{\mathbf{x}}_1^{\mathrm{T}}\\ {\mathbf{x}}_2^{\mathrm{T}}\\ {\mathbf{x}}_3^{\mathrm{T}}\\ ⋮\\ {\mathbf{x}}_n^{\mathrm{T}}\end{array}\right]\left[\begin{array}{c}{\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,\cdots ,{\mathbf{x}}_n\end{array}\right]=\left[\begin{array}{ccccc}{\mathbf{x}}_1^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{x}}_1^{\mathrm{T}}{\mathbf{x}}_2& {\mathbf{x}}_1^{\mathrm{T}}{\mathbf{x}}_3& \cdots & {\mathbf{x}}_1^{\mathrm{T}}{\mathbf{x}}_n\\ {\mathbf{x}}_2^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{x}}_2^{\mathrm{T}}{\mathbf{x}}_2& {\mathbf{x}}_2^{\mathrm{T}}{\mathbf{x}}_3& \cdots & {\mathbf{x}}_2^{\mathrm{T}}{\mathbf{x}}_n\\ {\mathbf{x}}_3^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{x}}_3^{\mathrm{T}}{\mathbf{x}}_2& {\mathbf{x}}_3^{\mathrm{T}}{\mathbf{x}}_3& \cdots & {\mathbf{x}}_3^{\mathrm{T}}{\mathbf{x}}_n\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n^{\mathrm{T}}{\mathbf{x}}_1& {\mathbf{x}}_n^{\mathrm{T}}{\mathbf{x}}_2& {\mathbf{x}}_n^{\mathrm{T}}{\mathbf{x}}_3& \cdots & {\mathbf{x}}_n^{\mathrm{T}}{\mathbf{x}}_n\end{array}\right]\\ & =\mathbf{I}=\left[\begin{array}{ccccc}1& 0& 0& \cdots & 0\\ 0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\end{array}\right]\end{array}$$
  由上述推到可以看出，对于$\forall i\ne j,{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j=0$且对于$\forall i=j,{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j=1$，说明如果矩阵的各列向量都是单位向量，并且两两正交，那么该矩阵是正交矩阵。对于行向量来说，也是如此。
  $n$阶正交矩阵的$n$个行向量或列向量构成向量空间${\mathbb{R}}^n$的一个标准正交基。

    v = np.array([1, 2, 3])
    print("以v为对角元素的对角阵: \n", np.diag(v))
    # [[1 0 0]
    #  [0 2 0]
    #  [0 0 3]]
  
    v2 = np.arange(1, 10).reshape(3, 3)
    print(v2)
    # [[1 2 3]
    #  [4 5 6]
    #  [7 8 9]]
    print("二维矩阵的对角元素: \n", np.diag(v2))
    # 二维矩阵的对角元素:
    #  [1 5 9]
  

• 相似矩阵：设$\mathbf{A},\mathbf{B}$都是$n$阶矩阵，若存在可逆矩阵$\mathbf{P}$，使得${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{B}$，则称$\mathbf{B}$是$\mathbf{A}$的相似矩阵，或者说两者相似。通俗一点来说，两矩阵相似，本质就是同一线性变换在不同基下的矩阵表示相似。
  证明：假设存在线性变换$T$,存在两组不同的基$\mathbf{\alpha }=[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]，\mathbf{\beta }=[{\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n]$，两者之间的关系通过过渡矩阵来关联，也就是之前在"基变换中提到的$\mathbf{P}$"，则有
  $$\begin{gathered} \mathbf{\beta }=\mathbf{\alpha }\mathbf{P} \\ T(\mathbf{\alpha })=\mathbf{\alpha }\mathbf{A} \\ T(\mathbf{\beta })=\mathbf{\beta }\mathbf{B}\Rightarrow T(\mathbf{\alpha }\mathbf{P})=\mathbf{\beta }\mathbf{B}\Rightarrow T(\mathbf{\alpha })\mathbf{P}=\mathbf{\alpha }\mathbf{P}\mathbf{B} \\ \Rightarrow \mathbf{\alpha }\mathbf{A}\mathbf{P}{\mathbf{P}}^{-1}=\mathbf{\alpha }\mathbf{P}\mathbf{B}{\mathbf{P}}^{-1}\Rightarrow \mathbf{\alpha }\mathbf{A}=\mathbf{\alpha }\mathbf{P}\mathbf{B}{\mathbf{P}}^{-1}\Rightarrow \mathbf{A}=\mathbf{P}\mathbf{B}{\mathbf{P}}^{-1} \\ \Rightarrow {\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{B} \end{gathered}$$
  得证。

  同一线性变换，在不同基下的矩阵，称为相似矩阵。

  还有一种更通俗的证明方法，

  证明：假设线性空间$V$中的向量$\mathbf{a}$在基$\mathbf{\alpha }=[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n]$下的坐标为$\mathbf{x}=(x_1,x_2,x_3,\cdots ,x_n{)}^{\mathrm{T}}$，在基$\mathbf{\beta }=[{\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_n]$下的坐标为${\mathbf{x}}^{\prime }=(x_1^{\prime },x_2^{\prime },x_3^{\prime },\cdots ,x_n^{\prime }{)}^{\mathrm{T}}$，两个基满足$\mathbf{\beta }=\mathbf{\alpha }\mathbf{P}$.

  • 在$\mathbf{\beta }$下，$\mathbf{x}’$通过$\mathbf{P}$变成$\mathbf{\alpha }$下的向量—$\mathbf{P}{\mathbf{x}}^{\prime }$；
  • 在$\mathbf{\alpha }$下，通过矩阵$\mathbf{A}$完成线性变换—$\mathbf{A}\mathbf{P}{\mathbf{x}}^{\prime }$；
  • 通过${\mathbf{P}}^{-1}$变回$\mathbf{\beta }$下的向量—${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}{\mathbf{x}}^{\prime }$;
  • 因此在$\mathbf{\beta }$下，$\mathbf{B}{\mathbf{x}}^{\prime }={\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}{\mathbf{x}}^{\prime }$
  • 得到$\mathbf{B}={\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}$

  得证。
  或者
  根据上面的假设条件，有
  $$\begin{gathered} \mathbf{A}\mathbf{x}=\mathbf{P}\mathbf{B}{\mathbf{x}}^{\prime } \\ \mathbf{x}=\mathbf{P}{\mathbf{x}}^{\prime } \\ \Rightarrow \mathbf{A}\mathbf{P}{\mathbf{x}}^{\prime }=\mathbf{P}\mathbf{B}{\mathbf{x}}^{\prime }\Rightarrow \mathbf{B}={\mathbf{P}}^{-1}\mathbf{A}\mathbf{P} \end{gathered}$$
  从几何方面理解
  

  从上图可以看出，向量$\mathbf{x}$和${\mathbf{x}}^{\prime }$同一个向量$\mathbf{a}$在不同基下的不同坐标，但本质上两者是相同的。从不同的角度看到的事物不同罢了。$\mathbf{A}\mathbf{x}$是$\mathbf{x}$在基$\mathbf{\alpha }$下通过矩阵进行线性变换之后的坐标，$\mathbf{B}{\mathbf{x}}^{\prime }$是${\mathbf{x}}^{\prime }$在基$\mathbf{\beta }$下进行通过矩阵进行线性变换之后的坐标，两个基定义的坐标空间又可以通过过渡矩阵$\mathbf{P}$进行转换，因此有$\mathbf{A}\mathbf{x}=\mathbf{P}\mathbf{B}{\mathbf{x}}^{\prime }$。

特征向量和特征值

矩阵相乘的实质就是空间变换。

特征向量：从几何意义上来理解就是空间变换前后方向没有改变的向量。指示变换的方向，比如伸缩变换就是指伸缩的方向。由此可知，

特征值：从几何意义上来理解就是空间变换的程度。指示变换的程度，比如某个方向上伸缩多少倍。

特征分解：将矩阵分解成一组特征向量和特征值。假设$\mathbf{A}$是一个$n$阶矩阵，数$\lambda$和$n$维非零向量$\mathbf{x}$满足
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}(\mathbf{x}\ne 0)$$
则称$\lambda$为矩阵$\mathbf{A}$的特征值，非零向量$\mathbf{x}$称为矩阵$\mathbf{A}$的特征向量。

直观理解该公式，就是相当于向量$\mathbf{x}$在经过矩阵$\mathbf{A}$进行空间线性变换之后，只是进行了方向上的伸缩，并没有进行其它改变，这也就是特征向量和特征值的真正含义所在。求解矩阵特征值和特征向量就是看该矩阵能使哪些向量只发生方向上的伸缩改变(特征向量)，并且改变的程度有多大(特征值)。其意义就是我们可以根据提取出来特征向量进行讨论和研究。

从几何意义理解：

从上图可以看出，从左边的正方形经过一个矩阵$\mathbf{A}$进行线性变换之后，变成了右边的长方形，但是我们可以很容易就发现，向量$\mathbf{i}$和$\mathbf{j}$只是发生了方向上的变换，显而易见，它们便是矩阵$\mathbf{A}$的特征向量。该变换表示如下：
$$\mathbf{A}=\left[\begin{array}{cc}2& 0\\ 0& 4\end{array}\right]$$

$$\mathbf{A}\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 4\end{array}\right]=4\left[\begin{array}{c}0\\ 1\end{array}\right]\Rightarrow {\mathbf{j}}^{\prime }=4\mathbf{j}$$

$$\mathbf{A}\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}2\\ 0\end{array}\right]=2\left[\begin{array}{c}1\\ 0\end{array}\right]\Rightarrow {\mathbf{i}}^{\prime }=2\mathbf{i}$$

那么$2$和$4$便是它们对应的特征值。

特征分解的另一种定义：假设矩阵$\mathbf{A}$有$n$个线性无关的特征向量$\mathbf{V}=[{\mathbf{v}}^{(1)},{\mathbf{v}}^{(2)},\cdots ,{\mathbf{v}}^{(n)}]$，对应的特征值分别为$\mathbf{\lambda }=[{\lambda }^{(1)},{\lambda }^{(2)},\cdots ,{\lambda }^{(n)}{]}^{\mathrm{T}}$,则矩阵$\mathbf{A}$的特征分解可以记为
$$\mathbf{A}=\mathbf{V}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{\lambda }){\mathbf{V}}^{-1}$$
并不是所有的矩阵都可以分解特征值；在某些情况下，实矩阵的特征值分解可能会出现复矩阵。

m = np.array(
    [[1, 2, 3],
    [4, 5, 6],
    [7, 8, 9]])

print("特征值: \n", np.linalg.eigvals(m))
eigvals, eigvecs = np.linalg.eig(m)
print("特征值: \n", eigvals)
print("特征向量: \n", eigvecs)

# 特征值: 
#  [ 1.61168440e+01 -1.11684397e+00 -1.30367773e-15]
# 特征值: 
#  [ 1.61168440e+01 -1.11684397e+00 -1.30367773e-15]
# 特征向量: 
#  [[-0.23197069 -0.78583024  0.40824829]
#  [-0.52532209 -0.08675134 -0.81649658]
#  [-0.8186735   0.61232756  0.40824829]]

奇异值分解

矩阵的奇异值分解$(\mathrm{S}\mathrm{V}\mathrm{D})$，将矩阵分解为奇异向量$(\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{u}\mathrm{l}\mathrm{a}\mathrm{r}\mathrm{v}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{o}\mathrm{r})$和奇异值$(\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{u}\mathrm{l}\mathrm{a}\mathrm{r}\mathrm{v}\mathrm{a}\mathrm{l}\mathrm{u}\mathrm{e})$。奇异值分解会得到一些与特征分解相同类型的信息。但是奇异值分解应用更为广泛。每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。比如，非方阵的矩阵没有特征分解，此时只能使用奇异值分解。

奇异值分解的形式为
$$\mathbf{A}={\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^{\mathrm{T}}$$
若$\mathbf{A}$是$m\times n$的矩阵，那么$\mathbf{U}$是$m\times m$的，其列向量成为左奇异向量，而$\mathbf{V}$是$n\times n$的，其列向量称为右奇异向量，而$\mathbf{\Sigma }$是$m\times n$的对角矩阵，其对角元素为矩阵$\mathbf{A}$的奇异值。

奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小成正相关。

在图像处理领域，奇异值不仅可以应用在数据压缩上，还可以对图像去噪。如果一副图像包含噪声，我们有理由相信那些较小的奇异值就是由于噪声引起的。当我们强行令这些较小的奇异值为0时，就可以去除图片中的噪声。

主要应用领域包括：

• 隐性语义分析 (Latent Semantic Analysis, LSA) 或隐性语义索引 (Latent Semantic Indexing, LSI)；
• 推荐系统 (Recommender system)，可以说是最有价值的应用点；
• 矩阵形式数据（主要是图像数据）的压缩。

奇异矩阵必然是方阵，若矩阵的行列式是0，则该矩阵为奇异矩阵，否则为非奇异矩阵。非奇异矩阵可逆，可逆矩阵就是非奇异矩阵，若矩阵$\mathbf{A}$为非奇异矩阵，则$\mathbf{A}\mathbf{x}=0$有唯一零解，$\mathbf{A}\mathbf{x}=\mathbf{b}$有唯一解。

m = np.array([
    [1, 2, 3, 4],
    [4, 5, 6, 8]
])
U, Sigma, V = np.linalg.svd(m)

print("左奇异向量矩阵U: \n", U)
print("奇异值对角矩阵Sigma: \n", Sigma)
print("右奇异向量矩阵V: \n", V)

# 左奇异向量矩阵U: 
#  [[-0.41523775 -0.90971293]
#  [-0.90971293  0.41523775]]

# 奇异值对角矩阵Sigma: 
#  [13.04656085  0.88727114]

# 右奇异向量矩阵V: 
#  [[-0.31074009 -0.41229564 -0.51385119 -0.68513492]
#  [ 0.84668379  0.28938495 -0.26791389 -0.35721851]
#  [-0.25916053  0.51832106  0.54670221 -0.60439705]
#  [-0.34554737  0.69109474 -0.60439705  0.19413726]]

线性代数应用之主成分分析$(\mathrm{P}\mathrm{C}\mathrm{A})$

数据降维：就是将高维度特征数据降到低维度，保留一些比较重要的维度特征数据，去除噪声和不重要的信息，达到提升数据处理速度的目的。虽然降维以损失一些信息为代价，但是它尽可能地保留了原始数据的重要信息，这样就可以节省计算的时间成本、数据集更易使用、更易理解。

主成分分析$(\mathrm{P}\mathrm{r}\mathrm{i}\mathrm{n}\mathrm{c}\mathrm{i}\mathrm{p}\mathrm{a}\mathrm{l}\mathrm{C}\mathrm{o}\mathrm{m}\mathrm{p}\mathrm{o}\mathrm{n}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{A}\mathrm{n}\mathrm{a}\mathrm{l}\mathrm{y}\mathrm{s}\mathrm{i}\mathrm{s})$：该算法的主要思想就是将原始数据的$n$维特征降到$k$维。这$k$维正交特征也被称为主成分，是在原始$n$维特征上重构出来的$k$维特征。$\mathrm{P}\mathrm{C}\mathrm{A}$的主要工作就是在空间中找出一组两两互相正交的$k$个基向量，使得原始数据经过该新基的映射(变换)之后变成$k$维特征。新基的选取取决于原始数据的分布。

提出问题：如何选取$k$个正交基使得在变换之后能最大程度地保留原始数据的信息呢？如何才能使信息的损失度最小呢？通俗一点说，就是如何选取原始数据的投影方向，才能最大程度保留原始信息呢？

初步想法：原始数据投影之后，在投影方向上应该使得数据尽可能分散，其分散程度用方差表示。当然这只是将二维降到一维的情况。考虑到多维数据的情况，比如三维降到两维，首先选择的第一个投影方向肯定是投影后方差最大的方向，但是第二个方向必然不可能是方差最大的方向，否则就会使得投影方向重叠，数据无法区分了，为了表示更多的信息，我们希望在该方向投影后方差尽可能的大，而且投影方向不能和第一个投影方向线性相关(要是互相垂直正交，那就不存在相关性了，这也是我们寻求的最佳的投影方向)。

$\star \star \star$对应到线性代数的知识，就是计算原始数据矩阵的协方差矩阵(对角线元素就是每个维度的方差)，并进行协方差矩阵的特征分解，从大到小选择$k$个特征值(方差)及对应的特征向量，这$k$个特征向量就是选取的新基，原始数据在该基上投影之后就能从$n$维特征降到$k$维。

实现原理：在定义优化目标之前需要明确在正交属性空间中表达样本点的"两个性"，使用超平面对样本进行恰当表达。

• 最近重构性：样本点到超平面的距离都足够近；
• 最大可分性：样本点在这个超平面上的投影尽可能分散。

因此$\mathrm{P}\mathrm{C}\mathrm{A}$有两种等价推导，从最近重构性来看：

假设有$m$个$n$维列向量$\mathbf{X}=[{\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)},\cdots ,{\mathbf{x}}^{(m)}]$，已经中心化，也就是${\sum }_{i=1}^m{\mathbf{x}}^{(i)}=0$。若将数据从$n$维降到$k$维，则假设投影变换矩阵为$\mathbf{P}=[{\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_k]$，$\mathbf{P}$是标准正交基，其中${\Vert {\mathbf{p}}_i\Vert }_2=1,{\mathbf{p}}_i^T{\mathbf{p}}_j=0$。

由之前的坐标投影变换公式可知，${\mathbf{z}}^{(i)}={\mathbf{P}}^{\mathrm{T}}{\mathbf{x}}^{(i)}$，即可得到原始数据${\mathbf{x}}^{(i)}$在新基$\mathbf{P}$下的新空间坐标${\mathbf{z}}^{(i)}=[z_1^{(i)},z_2^{(i)},\cdots ,z_k^{(i)}{]}^{\mathrm{T}}$，重构成用基向量表示的形式就是${\hat{\mathbf{x}}}^{(i)}=\mathbf{P}{\mathbf{z}}^{(i)}$。
$$\left[\begin{array}{cccc}{\mathbf{p}}_1& {\mathbf{p}}_2& \cdots & {\mathbf{p}}_k\end{array}\right]\left[\begin{array}{c}{z}_1^{(i)}\\ z_2^{(i)}\\ ⋮\\ z_k^{(i)}\end{array}\right]=z_1^{(i)}{\mathbf{p}}_1+z_2^{(i)}{\mathbf{p}}_2+\cdots +z_k^{(i)}{\mathbf{p}}_k$$

放在二维空间直角坐标系中，其实可以很好理解，假设我们已知向量$\mathbf{x}=(3,2{)}^{\mathrm{T}}$的坐标，基向量$\mathbf{P}=[{\mathbf{p}}_1,{\mathbf{p}}_2]$,那么已知坐标，用基向量表示就是$\mathbf{x}=3{\mathbf{p}}_1+2{\mathbf{p}}_2$。${\mathbf{p}}_1=[1,0{]}^{\mathrm{T}},{\mathbf{p}}_2=[0,1{]}^{\mathrm{T}}$.

因此我们的优化目标就是最小化${\sum }_{i=1}^m{\Vert {\hat{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}\Vert }_2$.
$$\min \sum _{i=1}^m{\Vert {\hat{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}\Vert }_2⟺\min \sum _{i=1}^m{\Vert {\hat{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}\Vert }_2^2$$

$$\begin{array}{rl}\sum _{i=1}^m{\Vert {\hat{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}\Vert }_2^2& =\sum _{i=1}^m({\hat{\mathbf{x}}}^{(i)}{)}^{\mathrm{T}}({\hat{\mathbf{x}}}^{(i)})-2({\hat{\mathbf{x}}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})+({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =\sum _{i=1}^m(\mathbf{P}{\mathbf{z}}^{(i)}{)}^{\mathrm{T}}(\mathbf{P}{\mathbf{z}}^{(i)})-2(\mathbf{P}{\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})+({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =\sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{P}}^{\mathrm{T}}\mathbf{P})(z^{(i)})-2({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}{\mathbf{P}}^{\mathrm{T}}({\mathbf{x}}^{(i)})+({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =\sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})-2({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})+({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =-\sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})+\sum _{i=1}^m({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =-\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}\left(\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathbf{x}}^{(\mathrm{i})})({\mathbf{x}}^{(\mathrm{i})}{)}^{\mathrm{T}}\right)\mathbf{P}\right)+\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathbf{x}}^{(\mathrm{i})}{)}^{\mathrm{T}}({\mathbf{x}}^{(\mathrm{i})})\\ & =-\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}\right)+\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathbf{x}}^{(\mathrm{i})}{)}^{\mathrm{T}}({\mathbf{x}}^{(\mathrm{i})})\end{array}$$

上式第六步到第七步由于${\sum }_{i=1}^m({\mathbf{x}}^{(i)})({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}$是求$\mathbf{X}{\mathbf{X}}^{\mathrm{T}}$矩阵对角线上元素之和，因此可以用迹运算来表示。

通过观察上式，我们发现${\sum }_{i=1}^m({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{x}}^{(i)})$是常量，${\sum }_{i=1}^m({\mathbf{x}}^{(i)})({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}$是原始数据集的协方差矩阵，因此最小化目标表达式，等价于
$$\arg \underset{\mathbf{P}}{\min }-\mathrm{t}\mathrm{r}({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P})\mathrm{s}.\mathrm{t}.{\mathbf{P}}^{\mathrm{T}}\mathbf{P}=\mathbf{I}$$

常用迹运算及求导公式：
$$\begin{array}{rl}\mathrm{t}\mathrm{r}(\mathbf{A})& =\sum _i{A}_{i,i}\\ \mathrm{t}\mathrm{r}(\mathbf{A}\mathbf{B})& =\mathrm{t}\mathrm{r}(\mathbf{B}\mathbf{A})\\ \mathrm{t}\mathrm{r}(\mathbf{A})& =\mathrm{t}\mathrm{r}({\mathbf{A}}^{\mathrm{T}})\\ \mathrm{t}\mathrm{r}(\mathbf{A}\mathbf{B}\mathbf{C})& =\mathrm{t}\mathrm{r}(\mathbf{C}\mathbf{A}\mathbf{B})=\mathrm{t}\mathrm{r}(\mathbf{B}\mathbf{C}\mathbf{A})\\ \frac{\partial \mathrm{t}\mathrm{r}(\mathbf{A}\mathbf{B})}{\mathbf{A}}& =\frac{\partial \mathrm{t}\mathrm{r}(\mathbf{B}\mathbf{A})}{\mathbf{A}}={\mathbf{B}}^{\mathrm{T}}\end{array}$$

对上式用拉格朗日乘子算法优化可得：
$$\begin{array}{r}J(\mathbf{P})=-\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}+\lambda ({\mathbf{P}}^{\mathrm{T}}\mathbf{P}-\mathbf{I})\right)\\ 对\mathbf{P}求偏导,\frac{\partial J}{\partial \mathbf{P}}=-{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}+\lambda \mathbf{P}=0\\ ⟺{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}=\lambda \mathbf{P}\end{array}$$
从上述最终表达式中，根据矩阵的特征分解，我们可以得出，$\mathbf{P}$就是${\mathbf{X}\mathbf{X}}^{\mathrm{T}}$矩阵的$k$个特征向量构成的矩阵，$\lambda$就是其特征值。因此最终的问题就转化成求${\mathbf{X}\mathbf{X}}^{\mathrm{T}}$的前$k$大的特征值及对应的特征向量，其中${\mathbf{X}\mathbf{X}}^{\mathrm{T}}$是矩阵$\mathbf{X}$的协方差矩阵。

最后，只需要将原始数据映射到$\mathbf{P}$定义的空间内即可，即
$$\mathbf{Z}={\mathbf{P}}^{\mathrm{T}}\mathbf{X}$$
$\mathbf{Z}$即为降维后的数据。

接下来，我们来看第二种推导——基于最大可分性，也就是投影之后的数据分布的方差尽可能大，

基于前一种推导方法的相同假设，对于任意数据${\mathbf{x}}^{(i)}$，它在投影变换矩阵$\mathbf{P}$下的坐标为${\mathbf{z}}^{(i)}={\mathbf{P}}^{\mathrm{T}}{\mathbf{x}}^{(i)}$，在新坐标下的方差就是$({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})$，目标就是使得所有数据的方差之和最大化，也即
$$\max \sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})$$

$$\begin{array}{rl}\sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})& =\sum _{i=1}^m({\mathbf{P}}^{\mathrm{T}}{\mathbf{x}}^{(i)}{)}^{\mathrm{T}}({\mathbf{P}}^{\mathrm{T}}{\mathbf{x}}^{(i)})\\ & =\sum _{i=1}^m({\mathbf{x}}^{(i)}{)}^{\mathrm{T}}\mathbf{P}{\mathbf{P}}^{\mathrm{T}}({\mathbf{x}}^{(i)})\\ & =\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}\left(\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathbf{x}}^{(\mathrm{i})})({\mathbf{x}}^{(\mathrm{i})}{)}^{\mathrm{T}}\right)\mathbf{P}\right)\\ & =\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}\right)\end{array}$$

已知目标优化公式中的表达式是方差之和，也就是$({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})$是一个标量，其实它就是矩阵$({\mathbf{z}}^{(i)})({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}$对角线上的元素之和，这样就可以和矩阵的迹联系起来。即
$$({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})=\mathrm{t}\mathrm{r}\left(({\mathbf{z}}^{(\mathrm{i})})({\mathbf{z}}^{(\mathrm{i})}{)}^{\mathrm{T}}\right)$$
那么
$$\begin{array}{rl}\sum _{i=1}^m({\mathbf{z}}^{(i)}{)}^{\mathrm{T}}({\mathbf{z}}^{(i)})& =\mathrm{t}\mathrm{r}\left({\mathbf{Z}\mathbf{Z}}^{\mathrm{T}}\right)\\ & =\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}\mathbf{X}{\mathbf{X}\mathbf{P}}^{\mathrm{T}}\right)\end{array}$$
这样看起来似乎更好理解上面推导过程中第$(4)$步的由来。

因此最大化目标公式就是最大化$\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}\right)$，即
$$\arg \underset{\mathbf{P}}{\max }\mathrm{t}\mathrm{r}\left({\mathbf{P}}^{\mathrm{T}}{\mathbf{X}\mathbf{X}}^{\mathrm{T}}\mathbf{P}\right)\mathrm{s}.\mathrm{t}.{\mathbf{P}}^{\mathrm{T}}\mathbf{P}=\mathbf{I}$$
由此可见，该表达式等价于前一种推导方法中的目标优化公式。

参考资料

[1] 《深度学习》花书
[2] 相关github
[3] 同济大学《线性代数第六版》