Occupancy Flow: 4D Reconstruction by Learning Particle Dynamics论文笔记

最新推荐文章于 2024-05-20 14:26:06 发布

weixin_45625942

最新推荐文章于 2024-05-20 14:26:06 发布

阅读量115

点赞数

分类专栏：论文笔记文章标签：论文阅读

本文链接：https://blog.csdn.net/weixin_45625942/article/details/129471882

版权

论文笔记专栏收录该内容

8 篇文章 0 订阅

订阅专栏

Motivation

it is not clear how to extend these results to time-varying topologies. Approaches treating each time step individually lack continuity and exhibit slow inference, while traditional 4D reconstruction methods often utilize a template model or discretize the 4D space at fixed resolution

目前的SOTA方法难以扩展到时变拓扑结构。单独处理每个时间步长的方法缺乏连续性，推理速度慢，而传统的4D重建方法通常使用模板模型或以固定分辨率离散4D空间

Contribution

present Occupancy Flow, a novel spatio-temporal representation of time-varying 3D geometry with implicit correspondences

具有隐式对应的时变三维几何的时空表示。模型隐式地随时间产生对应关系，从而实现快速推断，同时提供时间动态的合理物理描述

相关工作

4D重构：目前的方法有，固定视角的模板模型，多视角，强动作假设（如刚性和线性假设）

多视角：该方法需要足够多的宽基线视图来覆盖场景，并且受限于这些视图中的模糊性

固定视角的模板模型：这些结果受到模板模型的质量和可用性的限制，并且非常特定于领域。此外，获得足够的模板是非常昂贵的，因此现有的大多数工作都集中在特定的形状类别上，如人体、手或脸

形状配准和插值：基于变形场的方法

现有的方法中，有的只考虑一小组输入点上的向量场。有的计算整个嵌入空间上的变形场，但他们的方法无法处理几何体的体积变化。有的方法提出了一种通过预测带符号距离场的演化来隐式获得对应关系的相关方法。然而，由于它们要求LaplaCian算子是不变的，所以它只在小运动下才能成功。有的引入形状变形网络，其中通过预测模板的参数化以及从任意形状到该模板的转换来学习网格对应关系。但它对于某些对象类是高度专门化的，并且需要对每个配准进行昂贵的微调。与这些方法对比，OFlow可以自动从观测中获取丰富的先验知识来解决歧义

方法

OFlow推导

目的：推断一个连续的三维形状表示的演变，它隐式地和密集地捕捉时间上的对应

s : [0, T] → $\mathbb{R}^{3}$ 定义一个点在时间区间[0, T]内的连续3D轨迹，s(0) ∈ $\mathbb{R}^{3}$ 和s(T) ∈ $\mathbb{R}^{3}$ 表示轨迹的起点和终点。进一步，v : $\mathbb{R}^{3}$ × [0, T] → $\mathbb{R}^{3}$ 代表连续的速度场，描述时间空间中每一个点的3D速度。s(⋅)和v ( ⋅ , ⋅ )之间的关系通过下式可微方程来描述（在时间区间[0, T]内）：

当对于每个初始条件s (0) = p , p ∈ $\mathbb{R}^{3}$ 求解这个ODE时，我们得到了前向流forward flow $\Phi$ ： $\mathbb{R}^{3}$ × [ 0 , T ] → $\mathbb{R}^{3}$ ，满足如下条件

流 $\Phi$ (p,t)描述了随矢量场v ( ⋅ , ⋅ )初始点p在时刻t的位置，可以将公式重构为

我们定义反向流backforward flow $\Psi$ : $\mathbb{R}^{3}$ × [ 0 , T ] → $\mathbb{R}^{3}$ 作为 $\Phi$ 的逆变换。这个逆变换可以通过对每个( p, $\tau$ ) ∈ $\mathbb{R}^{3}$ × [ 0 , T ]，( p, $\tau$ )∈ $\mathbb{R}^{3}$ × [ 0, T ]和初始条件设置为 $\Psi$ ( p, $\tau$ ) = r ( 0 )求解逆向ODE得到

模型概述

正向流

We obtain the correspondence loss Lcorr by taking the ℓ2-distance between the propagated points and the ground truth points on the mesh at t = τ

其中θ and ˆθ表示网络参数，fθ(·)代表占用网络（occupancy network），vˆθ(·, ·)代表速度网络（velocity network），速度网络框架如下

weixin_45625942

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Occupancy Flow: 4D Reconstruction by Learning Particle Dynamics论文笔记

固定视角的模板模型：这些结果受到模板模型的质量和可用性的限制，并且非常特定于领域。此外，获得足够的模板是非常昂贵的，因此现有的大多数工作都集中在特定的形状类别上，如人体、手或脸。有的计算整个嵌入空间上的变形场，但他们的方法无法处理几何体的体积变化。(p,t)描述了随矢量场v ( ⋅ , ⋅ )初始点p在时刻t的位置，可以将公式重构为。单独处理每个时间步长的方法缺乏连续性，推理速度慢，而传统的4D重建方法通常使用。：目前的方法有，固定视角的模板模型，多视角，强动作假设（如刚性和线性假设）来学习网格对应关系。
复制链接

扫一扫