本文探讨了数据降维的重要性，指出高维数据中的冗余信息可以通过流形学习来减少。流形学习旨在揭示数据的本质特征，通过低维表示保留关键信息。例如，二维的圆和三维的球面都可以用更低的维度来描述。论文中提到，在流形上使用欧氏距离更有意义。通过模拟数据生成过程并微调低维流形，可以表明模型已学习到流形结构。这种理解有助于优化距离度量并提升数据理解的准确性。
目的：
- 找到这个从高维到低维的映射
作用：
- 流形可以作为一种数据降维的方式。
- 输出数据更本质的特征，用更少的数据能尽可能多地表示原始数据。
通过现实理解：
- 在现实中能够观察到的真实数据，其实是“低维流形映射到高维空间”上的。
- 换句话说：一些高维中的数据会产生维度上的冗余，实际上只需要比较低的维度就能唯一地表示。
举例：
例一：用二维空间表示一个圆是冗余的：因为“在极坐标下只需要一个半径”即可表示。
例二：用三维空间表示一个求是冗余的：因为只需要“经纬”即可完全表示成功。
例三：如果我们观察到的数据是三维的，但其本质是一个二维流形。在流形（把卷展开）上本距离非常远，但是用三维空间的欧氏距离来计算则它们的距离要近得多。
例四：显然对于“从北京到上海的距离”这件事，我们关注的是把三维地球展开成二维平面，然后测量的地表上的距离，而不是三维空间中球面上两个点的欧氏距离。使用传统的欧氏距离来作为距离尺度，显然会抛弃“数据的内部特征”。就会忽略掉“这是个球面”这个信息。
论文中可以用到的：距离的度量（做一个小trick总可以吧）
- 使用欧氏距离对于“在高维空间展开的低维流型”进行距离的衡量是不正确的。
- 只有在流型空间，用欧氏距离才有意义。
如何来说明“模型学习到了流形”？
- 高维数据其实是由低维流形生成。如果我们能模拟这个生成过程，再通过对低维流形的微调，应该能得到对应的“有意义且有道理”的高维数据。
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
