计算共形几何学习笔记2-深度学习的几何理解

顾险峰老师2023年计算共形几何暑期课程学习笔记2

深度学习几何理解

比如手写体数字，假设1这个数字的图像是m×n维的，那他就是m×n空间中的一个点。在m×n维空间中所有的点都是图像，但不一定是手写体数字。

所有的手写体数字这个集合构成了空间中的点云，而这个点云嵌入的空间虽然是m×n维的空间，但点云本身的维度可能非常低。有个算法可以将这个点云从784维空间映射到2维空间中：

这说明这个映射是可逆的，上边任意一个图像对应下面一个点，下面也对应上面。说明这个点云中每个点是m×n维，但整个点云是二维的。这个点云可以看成是分布在m×n维空间中某个曲面的概率分布。换句话说，生成的数据集或某个概念可以看成是高维空间中低维数据流形的概率分布（每个数字是流形上一种概率分布）。这就是流形假设。

深度学习主要学习两大任务：

​ 1、数据流形的拓扑结构：高维->低维，编码；低维->高维，解码

​ 2、概率分布（概率测度）

在高维的空间中有一个低维的数据流形,在数据流形上采样得到真实数据分布v，将流形映射到隐空间z上，z上有一个白噪声分布ʖ。生成器就是把白噪声映射到流形上，得到一个生成分布u，判别器计算生成分布和真实分布之间的距离。

生成器改分布需要最优传输映射，判别器判断两分布的距离也要最优传输映射。gan本质上是算两个最优传输映射

深度神经网络只能表达连续变换，对于非连续的奇异点无法表达，就无法收敛

生成模型主要还是用最有传输解释

三个问题：

模式混淆：

团簇内部取点得到的图像清晰，团簇之间取点得到的图像模糊，称为模式混淆。这说明深度学习中我们需要知道概率分布的支集的边界。

应用

流形旁的点（带噪声的图像）映射到流形上（做垂足）去噪。前提是提前知道类别（对应流形）。