Flow Matching学习笔记

Flow Matching是用来做什么的？

生成模型

1. 生成模型本质是从先验分布采样，并通过某种变换得到目标分布。
   • 例如，DDPM是从高斯分布采样，通过去噪得到目标分布。
2. 生成模型核心是在已知先验分布的情况下，如何建模得到目标分布的过程。
   • 例如，DDPM本质上是在目标数据分布到先验高斯分布的过程中不断加噪，并对噪声预测进行建模。

从先验分布到目标分布: Flow Matching

1. 示意图
   

2. 数学概念

   1. 数据点$x\in {\mathbb{R}}^d$, $d$代表数据的维度；$x_0\sim p_0$表示先验分布，$x_1\sim p_1$表示目标分布，
   2. 速度场$u_t(x)=u(t,x):[0,1]\times {\mathbb{R}}^d\to {\mathbb{R}}^d$，表示从$p_0$到$p_1$的变换，可以由以下常微分方程定义
      $$dx=u_t(x)dt，$$满足$x_0\sim p_0,x_1\sim p_1$的边界条件，$x$是$t$的函数。
   3. Flow Map ${\psi }_t(x)$：
      • ${\psi }_t(x_s)$可以理解为$t=0$时的一个具体的数据点$x_s$在任意时间点$t$下的位置，即$x_s$在时间$t=[0,1]$以内的移动轨迹。
      • 若$x$为一个分布，${\psi }_t(x)$可以理解为整个分布在时间t下的移动轨迹或者路径
      • 上述常微分方程可以写作
        d