dpmsolver 论文核心整理

推导

DPM-Solver1的误差

由正文所述：

利用泰勒展开：

B.3式就是换了个元$\delta =\frac{\lambda -{\lambda }_s}{{\lambda }_t-{\lambda }_s}$，代入论文公式(3.4)的积分项（不含系数），这里先对B.4式简单代一下，注意到$h={\lambda }_t-{\lambda }_s$
$${\int }_{{\lambda }_s}^{{\lambda }_t}{e}^{-\lambda }\widehat{ϵ}({\hat{x}}_{{\lambda }_s},{\lambda }_s)d\lambda ={\int }_0^1{e}^{-(h\delta +{\lambda }_s)}\sum _{k=0}^n\frac{{\delta }^k\cdot h^k}{k!}{\widehat{ϵ}}^{(k)}({\hat{x}}_{{\lambda }_s},{\lambda }_s)h(d\delta )$$
$$\begin{gathered} ={\int }_0^1{e}^{(1-\delta )h-(h+{\lambda }_s)}\sum _{k=0}^n\frac{{\delta }^k\cdot h^k}{k!}{\widehat{ϵ}}^{(k)}({\hat{x}}_{{\lambda }_s},{\lambda }_s)h(d\delta ) \\ =\frac{{\sigma }_t}{{\alpha }_t}{\int }_0^1{e}^{(1-\delta )h}\sum _{k=0}^n{h}^{k+1}\frac{{\delta }^k}{k!}{\widehat{ϵ}}^{(k)}({\hat{x}}_{{\lambda }_s},{\lambda }_s)d\delta \\ =\frac{{\sigma }_t}{{\alpha }_t}\sum _{k=0}^n{h}^{k+1}{\int }_0^1[\frac{{\delta }^k}{k!}{\widehat{ϵ}}^{(k)}{e}^{(1-\delta )h}]{\widehat{ϵ}}^{(k)}({\hat{x}}_{{\lambda }_s},{\lambda }_s)d\delta \\ =\frac{{\sigma }_t}{{\alpha }_t}\sum _{k=0}^n{h}^{k+1}{\phi }_{k+1}(h){\widehat{ϵ}}^{(k)}({\hat{x}}_{{\lambda }_s},{\lambda }_s)d\delta \end{gathered}$$
其中${\phi }_k(z)$的定义如附录的B.2所示：

从而根据上面的推导，得到了B.4式

至于为什么要这样配凑，文中给出了参考文献。（之后再看看）

注意以下结论成立，在推导DPM-Solver2会用到

下面说明了k=1时候的误差，主要是利用已得到的B.4式验证3.7式的估计

由最后一行将$x_{t_i}$移动一下，那么对右式不断重复即可。

DPM-Solver2的误差

论文的叙述方式是假设算法4成立了，直接验证误差了。

如果考虑是如何构造出DPM-Solver2的，对于这个算法的个人理解是这样的。
首先DPM-Solver-1已经保证了是O(h)，自然只需要考虑${\hat{x}}_t$的泰勒展开中的第n=1项，也就是一阶导数项，但这个导数不能求。于是得想个法子抹掉他还使得估计又不错。
注意到$h^2{\phi }_2(h)=e^h-h-1$已经是$O(h^2)$的了，那么实际上DPM-Solver-2只需要估计${\hat{x}}_t-x_t$中含$h^2{\epsilon }^{(2)}$的项就可以了。
与此相仿，注意到$h{\phi }_1(h)=e^h-1$也已经是$O(h)$了，那就巧了，我能不能构造选取那个离${\lambda }_s$有$r_{1}h$远的点来近似呢？于是可以用$$h^2\phi (h)$来估计一下${\phi }_2$呢？自然是可以（因为假设了利普西茨条件），于是这里选取的就是${\lambda }_{s_1}-{\lambda }_s=r_{1}h$，这样就行了，也不需要真的去计算这个一阶导数。
但上面的关键点就在于这个$\phi$函数的构造和利普西茨条件的有界