5 降维 Dimention Reduction

在机器学习中，我们最关心的是 泛化误差，在降低泛化误差的过程中，我们需要克服的最大困难便是 过拟合（overfitting）。

我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。

高维度的disadvantages（维度灾难）：
高维度有更大的特征空间，需要更多的数据才可以进行较准确的估计。若特征是二值的，则每增加一个特征，所需数据量都在以2的指数级进行增长，更何况很多特征不只是二值的。

几何角度：
图1-1. 内切圆

①如图1-1所示，设正方形边长为1，则其内切圆半径为0.5，则正方形面积为 1 ，内切圆面积为 $\pi (0.5{)}^2$ 。若将此变为三维情况下，正方体体积为 1 ，内切球体积为 $\frac{4}{3}\pi (0.5{)}^3$ 。因此球体的体积可以表示为 $k\pi (0.5{)}^3$ (D为维度)，则 ${\lim }_{D\mapsto \infty }\frac{4}{3}\pi (0.5{)}^3$ ，其内切超球体的体积为0。由此可知，高维情况下，数据大都分布在四角（正方形内，内切圆外），稀疏性太大，不好分类。

图1-2. 圆环

②如图1-2所示，设外圆半径 $r=1$ ，内圆半径为 $r-e$

同样在高维情况下，外圆体积为 $V_{外圆}=k{1}^D=k$ ，中间的圆环体积为 $V_{圆环}=k-k(1-e{)}^D$

则 $$\underset{D\mapsto \infty }{\lim }\frac{V_{圆环}}{V_{外圆}}=\underset{D\mapsto \infty }{\lim }\frac{k-k(1-e{)}^D}{k}=\underset{D\mapsto \infty }{\lim }1-(1-e{)}^D=1$$

因此，高维情况下，圆环几乎占据了整个外圆，内圆体积趋向于0，导致数据稀疏。此结论从我们三维的角度来看，是非常震惊的这类似于人的大脑，几乎所有的智慧都集中在大脑皮层由此可以看出，二维或三维上的一些理解，在高维是不work的.

-此结论从我们三维的角度来看，是非常震惊的
-这类似于人的大脑，几乎所有的智慧都集中在大脑皮层
-由此可以看出，二维或三维上的一些理解，在高维是不work的

降维的思路来源于维度灾难的问题，从几何角度来看，我们知道 $n$ 维球的体积为： $C{R}^n$ 那么在球体积与边长为 $2R$ 的超立方体比值为： $$\underset{n\to 0}{\lim }\frac{C{R}^n}{2^n{R}^n}=0$$

当 $n$ 比较小的时候，数据分布还比较均匀，但是随着 $n$ 增大，也就是维度增加的时候，数据的分布会及其不均匀，因为球的体积占比会非常小，在高维数据中，主要样本都分布在立方体的边缘，这就是所谓的维度灾难，所以数据集更加稀疏。

疑：用球来比喻维度灾难没看懂

降维的算法分为：

1. 直接降维，特征选择
2. 线性降维，PCA，MDS等
3. 分线性，流形包括 Isomap，LLE 等

假设数据集为： $$X=(x_1,x_2,\cdots ,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_p^T\end{array}\right)={\left(\begin{array}{c}{x}_{11}{x}_{21}\dots x_{1p}\\ x_{21}{x}_{22}\dots x_{2p}\\ ⋮⋮⋮⋮\\ x_{p1}{x}_{p2}\dots x_{pp}\end{array}\right)}_{N\ast p}$$$$1_N={\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\ast 1}$$$$x_i\in {\mathbb{R}}^p,i=1,2\cdots N$$
样本均值： ${\overline{x}}_{p\ast 1}=\frac{1}{N}\sum _{i=1}^N{x}_i$
样本方差： $S_{p\ast p}=\frac{1}{N}\sum _{i=1}^N(x_i-\overline{X})(x_i-\overline{X}{)}^T$
为了方便，我们首先将协方差矩阵（数据集）写成中心化的形式：
$${\overline{x}}_{p\ast 1}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}(x_1,x_2,\cdots ,x_N){\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\ast 1}=\frac{1}{N}{X}^T{1}_{N}xp\ast 1=N1i=1\sum Nxi=N1(x1,x2,\cdots ,xN)$$
$$\begin{array}{rl}S& =\frac{1}{N}\sum _{i=1}^N(x_i-\overline{X})(x_i-\overline{X}{)}^T\\ & \\ & =\frac{1}{N}(x_1-\overline{X},x_2-\overline{X},\cdots ,x_N-\overline{X})(x_1-\overline{X},x_2-\overline{X},\cdots ,x_N-\overline{X}{)}^T\\ & =\frac{1}{N}(X^T-\overline{X}{1}_N^T)(X^T-\overline{X}{1}_N^T{)}^T\\ & =\frac{1}{N}(X^T-\frac{1}{N}{X}^T{1}_N{1}_N^T)(X^T-\frac{1}{N}{X}^T{1}_N{1}_N^T{)}^T\\ & =\frac{1}{N}{X}^T(I_N-\frac{1}{N}{1}_N{1}_N^T)(I_N-\frac{1}{N}{1}_N{1}_N^T{)}^{T}X\\ & \\ & =\frac{1}{N}{X}^T{H}_N{H}_N^{T}X\\ & \\ & =\frac{1}{N}{X}^T{H}_N{H}_{N}X\\ & =\frac{1}{N}{X}^{T}HX\end{array}$$
这个式子利用了中心矩阵 $H$ 的对称性，这也是一个投影矩阵。

定义；中心矩阵centeringmatrix： $$H_N=I_N-\frac{1}{N}{1}_N{1}_N^T$$
$H_N$ 每个样本减去均值，会使图像向中心移动
$$S=\frac{1}{N}{X}^{T}H{H}^{T}X$$中心矩阵 $H_N$ 具有以下性质
$$H_N=I_N-\frac{1}{N}{1}_N{1}_N^T$$$$H_N^T=I_N-\frac{1}{N}{1}_N{1}_N^T=H_N$$$$\begin{gathered} H^2=H\cdot H=(I_N-\frac{1}{N}{1}_N{1}_N^T)(I_N-\frac{1}{N}{1}_N{1}_N^T) \\ =I_N-\frac{2}{N}{1}_N{1}_N^T+\frac{1}{N^2}{1}_N{1}_N^T{1}_N{1}_N^T=I_N-\frac{1}{N}{1}_N{1}_N^T=H_N \end{gathered}$$

所以： $$S=\frac{1}{N}{X}^{T}H{H}^{T}X=\frac{1}{N}{X}^{T}HX$$

1 线性降维-主成分分析 PCA

主成分分析中，我们的基本想法是将所有数据投影到一个字空间中，从而达到降维的目标，为了寻找这个子空间，我们基本想法是：

• 所有数据在子空间中更为分散
• 损失的信息最小，即：在补空间的分量少

总结一下就是，一个中心，两个基本点
一个中心：
将一组可能线性相关的变量，通过正交变换变换成一组线性无关的变量（主成分），原始特征空间的重构：相关 $\to$ 无关
两个基本点：

• 最大投影方差：即数据足够分散
• 最小重构距离：从投影返回到原始数据的代价

最大投影方差与最小重构距离是PCA中心思想的两种不同角度，实际上表述的是同一个意思，但方差比较大时，数据才会比较分散，那么重构回去时比较简单；若数据比较集中，甚至比较极端点，数据经过降维后都变成了一个点，基本上是重构不回去的。

原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 $p$ 个新的线性无关的单位基 $u_i$​，降维就是取其中的 $q$ 个基。于是对于一个样本 $x_i$​，经过这个坐标变换后： $$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\sum _{i=1}^q(u_i^T{x}_i)u_i+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$

1.1 PCA——最大投影方差角度

方法
1、中心化，每个样本点减去均值 $x_i-\overline{X}$
2、投影，求最大方差
假设投影到 ${\mu }_1$​ 上，投影过程为 ${(x_i-\bar{X})}^T{\mu }_{1}s.t.{\mu }_1^T{\mu }_1=1$，这里假设 ${\mu }_1$ ​的模是1
投影后方差为：(因为投影前已经减去了均值，所以这里可以直接平方)
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\left({\left(x_i-\bar{X}\right)}^T{\mu }_1\right)}^2\\ & =\frac{1}{N}\sum _{i=1}^N{\mu }_1^T\left(x_i-\bar{X}\right){\left(x_i-\bar{X}\right)}^T{\mu }_1\\ & ={\mu }_1^T\left(\sum _{i=1}^N\frac{1}{N}\left(x_i-\bar{X}\right){\left(x_i-\bar{X}\right)}^T\right){\mu }_1\\ & ={\mu }_1^{T}S{\mu }_1\end{array}$$
上述问题就是以下的优化问题：
$$\mu =\mathrm{argmax}{\mu }_1^{T}S{\mu }_1$$$$s.t.{\mu }_1^T{\mu }_1=1$$
采用拉格朗日乘值法进行求解：
$$\begin{array}{l}L\left({\mu }_1,\lambda \right)={\mu }_1^{T}S{\mu }_1+\lambda \left(1-{\mu }_1^T{\mu }_1\right)\\ \\ \frac{\partial L}{\partial {\mu }_1}=2S{\mu }_1-2\lambda {\mu }_1=0\\ \\ S{\mu }_1=\lambda {\mu }_1\end{array}$$
所以，要求的就是协方差矩阵 $S$ 的特征向量

上面以一个 ${\mu }_1$ ​为例进行介绍的，下面介绍多个单位基的情况。
原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 $p$ 个新的线性无关的单位基 $u_i$ ，降维就是取其中的 $q$ 个基。于是对于一个样本 $x_i$​，经过这个坐标变换后： $$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\sum _{i=1}^q(u_i^T{x}_i)u_i+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$ 对于数据集来说，我们首先将其中心化然后再去上面的式子的第一项，并使用其系数的平方平均作为损失函数并最大化：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^q{\left({\left(x_i-\bar{X}\right)}^T{\mu }_j\right)}^2\\ & =\sum _{j=1}^q{\mu }_j^{T}S{\mu }_j\end{array}$$
由于每个基都是线性无关的，于是每一个 $u_j$​ 的求解可以分别进行，使用拉格朗日乘子法： $$\underset{u_j}{\mathrm{argmax}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmax}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$ 于是： $S{u}_j=\lambda u_j$​ 可见，我们需要的基就是协方差矩阵的特征向量。损失函数最大取在本征值前 $q$ 个最大值。

1.2 PCA——最小重构代价角度

对于向量 $x_i$ ​在 $u_k$ 方向的投影值为 $x_i^T{u}_k$​ ,投影值和单位向量的乘积为 $$(x_i^T{u}_k)u_k$$
所以完整的是 $$x_i=\sum _{k=1}^p(x_i^T{u}_k)u_k$$
为什么使用求和就可以呢，以二维坐标系进行简单说明（见下图）怎么表示向量 $x$ 呢，其实就是下图中 $x，y$ 轴上的两个向量的加和，其中在 $x$ 轴上的向量的值实际上就是向量 $x$ 在 $x$ 轴上的投影在乘上 $x$ 轴的单位向量，这就是上面式子的原因。

用PCA进行降维，降维后的维度为 $q$ ，并且 $q<p$
$${\hat{x}}_i=\sum _{k=1}^q(x_i^T{u}_k)u_k$$
重构代价是：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\Vert x_i-{\hat{x}}_i\Vert }^2\\ & =\frac{1}{N}\sum _{i=1}^N{\Vert \sum _{k=q+1}^p\left(x_i^T{u}_k\right)u_k\Vert }^2\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left(x_i^T{u}_k\right)}^2\end{array}$$
$x_i$ ​进行中心化(PCA需要中心化)，重构代价如下：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p\sum _{i=1}^N\frac{1}{N}{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p{u}_k^{T}S{u}_k(这里可以写是因为最小投影方差那一样)\\ \text{ s.t. }& u_k^T{u}_k=1\end{array}$$​ 最小重构代价
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p{\left({\left(x_i-\bar{X}\right)}^T{u}_k\right)}^2\\ & =\sum _{k=q+1}^p{u}_k^{T}S{u}_k\\ \text{ s.t. }& u_k^T{u}_k=1\end{array}$$
优化问题：
$$\underset{u_j}{\mathrm{argmax}}L(u_j,\lambda )=\underset{u_j}{\mathrm{argmax}}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$
损失函数最小取在本征值剩下的个最小的几个值。

最大投影方差与最小重构代价的区别

• 原先由 $p$ 维取前 $q$ 维
• 最大投影方差目标前 $q$ 最大
• 最小重构代价目标后 $p-q$ 维方差最小

1.3 PCA与PCoA——SVD角度

---

特征值分解
若 $S$ 为 $n$ 阶对称阵，则必有正交矩阵G使得
$$S=GK{G}^T=GK{G}^{-1}{G}^{T}G=IK=\left[\begin{array}{cccc}{k}_1& 0& \dots & 0\\ 0& k_2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & k_p\end{array}\right]k_1\ge k_2\ge \cdots \ge k_p$$
其中S是方阵， $G$ 是这个矩阵中的特征向量组成的矩阵，$K$ 是一个对角阵，每一个对角线上的元素就是一个特征值。一个矩阵的一组特征向量是一组正交向量。

SVD奇异值分解
在现实的世界中，遇到的大部分矩阵都不是方阵，怎样描述这样普通的矩阵的重要特征？答案是可以使用奇异值分解来解决。

$A$ 是一个$N\ast M$ 的矩阵，那么得到的 $U$ 是一个$N\ast N$ 的方阵（里面的向量是正交的，称为左奇异向量），$\Sigma$ 是一个 $N\ast M$ 的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），$V^T$ 是一个 $m\ast m$ 的矩阵（里面的向量也是正交的，称为右奇异向量）

上面是对下面可能会用到的知识进行简单的介绍。

实际训练时常常使⽤的 SVD 直接求得这q个特征向量。

• 原始数据为 $X$,中心化矩阵 $$H=I-\frac{1}{N}{1}_N{1}_N^T$$

• 对数据进行中心化(中心化矩阵可以实现中心化的功能，可见本章节开始) $HX$

• 对中心化后的数据集进行奇异值分解： $$HX=U\Sigma V^T，U^{T}U=I_N，V^{T}V=I_p，\Sigma :N\times p$$

于是： $$S=\frac{1}{N}{X}^{T}HX=\frac{1}{N}{X}^T{H}^{T}HX=\frac{1}{N}V{\Sigma }^T\Sigma V^T$$
因为 $S$ 是实对称阵，所以： $S=GK{G}^T$
$$G=VK={\Sigma }^2$$

因此，我们直接对中心化后的数据集进行 SVD，就可以得到特征值和特征向量 $V$，在新坐标系中的坐标就是： $$HX\cdot V$$ 由上面的推导，我们也可以得到另一种方法 PCoA 主坐标分析，定义并进行特征值分解： $$T=HX{X}^{T}H=U\Sigma {\Sigma }^T{U}^T$$
$T$ 和 $S$ 有相同的特征值

• $S$ : 特征分解，得到方向(主成分)，然后 $HX\cdot V\to$ 坐标
• $T$: 特征分解，直接得到坐标

$T$ 主坐标分析（principle coordinate analysis）PCoA

由于： $$HX\cdot V=U\Sigma V^{T}V=U\Sigma$$
$$TU\Sigma =U\Sigma {\Sigma }^T{U}^T\cdot U\Sigma =U\Sigma ({\Sigma }^T\Sigma )$$
$U\Sigma$ 特征向量组成的矩阵， ${\Sigma }^T\Sigma$ 为特征值矩阵。于是可以直接得到坐标。这两种方法都可以得到主成分，但是由于方差矩阵是 $p\times p$ 的，而 $T$ 是 $N\times N$ 的，所以对样本量较少的时候可以采用 PCoA 的方法。

1.4 PCA：p-PCA——概率角度

下面从概率的角度对 PCA 进行分析，概率方法也叫 p-PCA。我们使用线性模型，类似之前 LDA，我们选定一个方向，对原数据 $x\in {\mathbb{R}}^p$ ，降维后的数据为 $z\in {\mathbb{R}}^q,q<p$ 。降维通过一个矩阵变换（投影）进行。设 $z$ 的先验：
$$\begin{array}{rl}z& \sim \mathcal{N}\left({\mathbb{O}}_{q1},{\mathbb{I}}_{qq}\right)\\ & \\ x& =Wz+\mu +\epsilon \\ & \\ \epsilon & \sim \mathcal{N}\left(0,{\sigma }^2{\mathbb{I}}_{pp}\right)\end{array}$$$${\sigma }^2{I}_p=\left[\begin{array}{cccc}{\sigma }^2& 0& \dots & 0\\ 0& {\sigma }^2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\sigma }^2\end{array}\right]$$
基于上面的先验，可得 $z，x|z，x.z|x$
线性高斯模型： $$P-PCA=\{\begin{array}{ll}\text{Inference,}& p(z|x)\\ \text{Learing,}& w,\mu ,{\sigma }^2\to EM\end{array}$$

对于 $z$ 的分布如上，那么 $x$ 的分布就如上图
那么可知 $$\{\begin{array}{l}z\sim N(0,I)\\ \\ x=wz+\mu +ϵ\\ \\ ϵ\sim N\left(0,{\sigma }^{2}I\right)\\ \\ ϵ\perp z\\ \\ E[x|z]=E[wz+\mu +ϵ]=wz+\mu \\ \\ \mathrm{Var}[x|z]=\mathrm{Var}[wz+\mu +ϵ]={\sigma }^{2}I\\ \\ x|z\sim N\left(wz+u,{\sigma }^{2}I\right)\end{array}$$
上面的前四个是已知条件，第 5,6,7 个是根据前面的逐步推出来的。其中第 5 个式子，因为 $z$ 是先验条件，因此可以当作常数。
$$\begin{array}{l}E[x]=E[wz+\mu +ϵ]=E[wz+\mu ]+E[ϵ]=\mu \\ \\ \mathrm{Var}[x]=\mathrm{Var}[wz+\mu +ϵ]=\mathrm{Var}[wz]+\mathrm{Var}[ϵ]=wI{w}^T+{\sigma }^{2}I=w{w}^T+{\sigma }^{2}I\\ \\ x\sim N\left(\mu ,w{w}^T+{\sigma }^2\right)\end{array}$$
之前的公式：
$$x=\left[\begin{array}{l}{x}_a\\ x_b\end{array}\right]\mu =\left[\begin{array}{l}{\mu }_0\\ {\mu }_1\end{array}\right]\Sigma =\left[\begin{array}{ll}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right]$$

$$\begin{array}{l}\text{ 已知: }x\sim N(\mu ,\Sigma )\\ \\ x_{b,a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ {\mu }_{b.a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a\\ \\ {\Sigma }_{bb.a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\text{ schur complementary }\\ \\ x_b=x_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ E\left[x_b|x_a\right]={\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \\ Var\left[x_b|x_a\right]=Var\left[x_{b.a}\right]={\Sigma }_{bb.a}\\ \\ x_b|x_a\sim N\left({\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a,{\Sigma }_{bb.a}\right)\end{array}$$

推导：
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim \left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{cc}0& \Delta \\ {\Delta }^T& I\end{array}\right]\right)\end{array}$$
$$\begin{array}{l}\Delta =\mathrm{Cov}(x,z)\\ \\ =E[(x-\mu )(z-0{)}^T]\\ \\ =E\left[(x-\mu )z^T\right]\\ \\ =E\left[(wz+ϵ)z^T\right]\\ \\ =E\left[wz{z}^T+ϵz^T\right]\\ \\ =wE\left[z{z}^T\right]+E[ϵ]\cdot E\left[z^T\right]\\ \\ =w\cdot I+0\\ \\ =w\end{array}$$
上面的 $E\left[z{z}^T\right]$ 可以看作求方差，因为 $z$ 的均值是0
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim \left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{cc}O& \Delta \\ {\Delta }^T& I\end{array}\right]\right)=\left(\left[\begin{array}{l}\mu \\ 0\end{array}\right]\left[\begin{array}{ll}w{w}^T+{\sigma }^{2}I& w\\ w^T& I\end{array}\right]\right)\end{array}$$
联合概率
$$\begin{array}{l}\left[\begin{array}{l}x\\ z\end{array}\right]\sim N(\hat{\mu },\hat{\Sigma })\end{array}$$
对于这个模型，我么可以使用期望-最大（EM）的算法进行学习，在进行推断的时候需要求得 $p(z|x)$，推断的求解过程和线性高斯模型类似。
$$\begin{array}{c}p(z|x)=\frac{p(x|z)p(z)}{p(x)}\\ \\ \mathbb{E}[x]=\mathbb{E}[Wz+\mu +\epsilon ]=\mu \\ \\ \mathrm{Var}[x]=W{W}^T+{\sigma }^2{\mathbb{I}}_{pp}\\ \\ ⟹p(z|x)=\mathcal{N}\left(W^T{\left(W{W}^T+{\sigma }^2\mathbb{I}\right)}^{-1}(x-\mu ),\mathbb{I}-W^T{\left(W{W}^T+{\sigma }^2\mathbb{I}\right)}^{-1}W\right)\end{array}$$

这小节没看懂。

小结

降维是解决维度灾难和过拟合的重要方法，除了直接的特征选择外，我们还可以采用算法的途径对特征进行筛选，线性的降维方法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进行中心化，然后求奇异值分解或者对数据的协方差矩阵进行分解就可以得到其主要维度。非线性学习的方法如流形学习将投影面从平面改为超曲面。

版权声明：本文为CSDN博主「AI路上的小白」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/cengjing12/article/details/106268447