【论文阅读 TextureMe】Texture: MeHigh-Quality TexturedSceneReconstruction in RealTime

1. Abstract

本文的工作：在线重建出高质量纹理的地图

1. 创建TSDF模型，以及在mesh基础上，创建三角形纹理块
2. 将颜色集成到贴片中，同时将深度图融合进TSDF中
3. 不需要额外的 纹理图优化、网格参数、繁重的后处理

2. Introduction

背景

1. 前人的TSDF模型很好，但若想表示更细节的纹理，需要增加体素网格数量，无疑增大了计算量
2. Marching Cubes算法： 从TSDF模型中提取出mesh网格，mesh网格可以表示更加细节的颜色，但以往的方法都是通过插值来确定网格颜色，依然受制于体素网格数量
3. Kinect相机可以捕捉到高质量的颜色信息，但是以往的方法都注重在提高3D模型的质量，忽略了颜色细节的重建
4. 本文提出了一个全新的框架，同时创建一个 纹理地图 和 几何地图，全局纹理图+TSDF图
   1. 纹理地图：包括直角三角形（存储了该位置重建表面的颜色细节）；Marching Cubes算法提取出的三角形映射到RGB图上得到texture patches三角块；texture patches再集成到纹理地图上
5. texture fusion的比较：
   1. TF和本文的实现目标手段相同，都建立了纹理地图和几何地图；
   2. 本文和TF重建的几何模型都是体素模型，但是，TF中每个体素只对应一个纹理，而本文对纹理的划分不仅局限在体素尺度上；

本文贡献

1. 本文提出了基于纹理块的多尺度优化，让纹理块能更加高效对齐
2. 本文提出一个TSDF 过滤器，防止三角形进行不必要的链接或者更新，进而使得纹理块的更新更加稳健
3. 重采样算法，当三角形间的链接关系发生变化时，新全局纹理地图
4. 提出一种考虑模糊程度加权方案来更新全局纹理

3. System Overview

1. TSDF模型用Kinectfusion的流程，并修改了KF中ICP，加上颜色信息
2. 获取全局纹理地图，局部纹理地图，并融合
   1. Marching Cubs算法从TSDF模型中提取mesh（三角形网格）
   2. 从当前帧中提取纹理块（纹理块表示了mesh网格的位置颜色）
   3. 利用当前帧纹理块来update全局纹理地图
3. 本文的核心是纹理块的 表示、存储、建立、更新，融合到全局纹理
   1. Section 4 ： 纹理块的表示和存储
   2. Section 5 ： 纹理块的更新、减少mesh网格连接方式的变化
   3. Section 6 ： 在纹理块更新前，为了避免漂移误差对重建的影响而进行的优化

4. Texture Atlas Representation

为了实现实时处理，本框架需运行在GPU上，所以需要让 纹理块 的数据结构便于并行处理

4.1 纹理块和全局纹理地图的表示

1. 纹理块==(texture patch)==： 一个纹理块表示全局mesh网格中的一个三角区域，存储了该三角形区域的颜色、位置信息；为了存储效率，被设置为直角三角形？？？

2. 全局纹理地图==(texture atlas)==：

   1. 相当于全局所有纹理块的目录

   2. 是一张由许多直角三角形组成的图片，mesh网格中每一个三角形都对应全局纹理地图中唯一的直角三角形

   3. 每个直角三角形在图中的位置为该纹理块的索引

      

4.2 存储和管理纹理块

1. 由TSDF获得mesh，对mesh中每一个三角形新建纹理块
2. 一个体素所能对应的三角形个数是有限的，由Marching Cubes算法得到mesh，本文一个体素最多对应5个三角形
3. 为了节省空间，用栈动态存储所有未被使用的纹理块对象
   1. 随着重建过程(KinectFusion)的进行，全局mesh网格随之变化，必然新纹理块会产生，旧纹理块会被替代
   2. 将所有新建的纹理块的索引放入栈freelist中
   3. 判断新纹理块的质量，
      1. 如果质量好，则从freelist中POP出去
      2. 如果质量不好，或者要被替代，则释放纹理块的空间，并将其索引PUSH到栈中
4. 总结：
   1. 首先，只要TSDF模型中纳入了新的体素，就要为此体素新建纹理块，并加入全局纹理地图中
   2. 相反，如果相机重复访问了TSDF中某一片区域，
      1. 当两次访问所提取纹理块数量、形状、位置不一样时，那这片区域所对应的旧纹理块对象被释放，对应的索引PUSH到free list，创建新的纹理块，加入全局纹理地图
      2. 当两次访问所提取纹理块数量、形状、位置一样时，保留、更新旧纹理块（相当于只更新了颜色）
   3. 在 Section5.4 中会详细讨论新旧纹理块间如何更迭

5. Texture patch Fusion

本节展示如何从RGB图像提取纹理块、加权融合至全局纹理图中的纹理块

值得注意的是，加权融合的方法考虑了图像模糊度，以及介绍了一种处理mesh网格频繁变化的方法

5.1 从当前帧提取纹理块

1. 当前帧 $k$ 对应mesh网格模型为 ${\mathcal{M}}_k$ , 对${\mathcal{M}}_k$中**每一个三角形新建纹理块 $T_k^{\prime }$ **
2. 利用当前帧的位姿${\mathcal{Q}}_k$ 将每个纹理块 $T_k^{\prime }$ 投影到当前帧的RGB平面(${\mathcal{C}}_k$)上来确定 $T_k^{\prime }$ 中每个纹理块的颜色
3. 利用三角形的重心坐标来确定纹理块的颜色

5.2 更新全局纹理图中的纹理块

1. 前面对当前帧新建的一个纹理块$T_k^{\prime }$ ，要与与 上一帧重建好的纹理块 $T_{k-1}$融合，

2. 首先比较包含$T_k^{\prime }$ 的体素和包含 $T_{k-1}$的体素

   1. 如果对应的纹理块数量和类型相同，直接进行下一步（进行颜色的更新）
   2. 如果对应的纹理块数量和类型不相同，则在全局纹理图中重新采样 $T_{k-1}$
   3. 如果$T_k^{\prime }$对应到全局纹理块区域为空的怎么办？？？

3. $T_{k-1}$ 代表了截止到上一帧某三角面的颜色细节信息，用公式（1）来加权平均$T_{k-1}$和$T_k^{\prime }$

4. $${\mathrm{T}}_k=\frac{{\mathbf{W}}_{k-1}\odot {\mathbf{T}}_{k-1}+{\mathbf{W}}_k^{\prime }\odot {\mathrm{T}}_k^{\prime }}{{\mathbf{W}}_{k-1}+{\mathbf{W}}_k^{\prime }}$$
   ​ 其中$W_{k-1}{W}_k^{\prime }$是表示权重的矩阵

   $${\mathbf{W}}_k=\min \left({\mathbf{W}}_{k-1}+{\mathbf{W}}_k^{\prime },w_{\max }\right)$$
   ​ 其中$w_{\max }$ 是提前定义好的常量

   $${\mathbf{W}}_k^{\prime }(\mathbf{p})={\mathbf{w}}_n\cdot {\mathbf{w}}_d\cdot {\mathbf{w}}_b$$
   ​ $p$表示三角形的顶点，意思是，每个节点位置对应的权重与 观测角度、观测距离、模糊程度相关

5. $p$ 表示2D节点的位置，$q$ 表示 $p$ 在 ${\mathcal{M}}_k$ 中对应的3D点
   1. $w_n$ 表示$max(n\cdot v,ϵ)$， $ϵ$是提前设定的常量，$n$ 表示 $q$ 的法向量，$v$ 表示$q$到$p$的投影方向
   2. $w_d$ 随着深度加深而减小，表示对深度不确定性的建模
   3. $w_b$ 用于减小模糊图片纹理块节点的权重，通过perceptual blur metric 算法计算图片的模糊度（之前有篇文章？？？），模糊度越大，$w_b$ 越小

5.3 降低Mesh 的变化频率

由于深度图噪声的影响，会导致某些帧重建出的TSDF有所震荡，同时也就导致了Marching Cubes算法提取出的纹理块频繁的发生变化，这样的话，即使新纹理块即使与旧纹理块对应真实世界同一区域，但由于TSDF模型震荡，二者所提取出的纹理块不同，则会在没必要重新建图的区域上频繁地删除、新建纹理块。

5.4 重采样纹理块

1. 5.2节中，表述了如何用当前帧的纹理块$T_k^{\prime }$来更新全局纹理块$T_{k-1}$，但前提是要保证$T_k^{\prime }、T_{k-1}$的类型相同的情况下，进行颜色的更新
2. 重采样的目的是：当$T_k^{\prime }、T_{k-1}$类型不同（形状、位置不同的三角形）时，就要对全局网格地图重新划分网格，使全局纹理块的形状结构与当前帧纹理块相同
3. 做法是利用位姿$Q_k$ ,像kinectfusion一样得出当前帧的预测图 ${\mathcal{M}}_k$ （会投影到当前帧的部分地图、文章中说的是rendered image）
4. 在 ${\mathcal{M}}_k$ 上用Marching Cubes采样，但相比5.1从当前帧中采样颜色，这里颜色是从预测图中采样

6. Texture patch Optimization

1. 针对的问题
   1. 由于位姿估计的漂移、累计误差，kinectfusion估计的位姿不一定准确
   2. 并且TSDF是在加权多个视角深度图的基础上建成的模型，并不一定能够与每一帧RGB图对齐。并且每一帧的深度图与RGB图也不一定是同步的
   3. 所以5.1 中对当前帧提取的纹理块无法和当前RGB图完全对齐，在模型与帧没有对齐的情况下直接加权更新（5.2）的话，会造成不同部位的颜色、纹理加权。使最终结果不准确
2. 解决的办法
   1. 获得图像变形域，从而将预测图和观测图对齐
   2. 通过变形域来优化 5.1 中采样的位置
   3. 将优化过程并行化，实现实时性

6.1 图像变形域

1. 对2D预测图（render image）$C_k^r$进行均匀的采样
2. 
3. 目的是要在2D观测图（RGB image）$C_k$中获取一个采样点集合，使$C_k$和$C_k^r$间的采样互相匹配

6.2 优化目标

1. 为了找到预测图中采样点 { u 0 i } \{u_0^i\} {u0i​}在RGB图中的对应点，定义一个损失函数来寻找一个2D点集合 U = { u i } U = \{u^i\} U={ui}

2. 其中，左图是预测图（render image）、右图是观测图优化目的就是调整右图$u^i$的位置，使右图红点与左图蓝点对应图片中的内容相同

3. 损失函数由两项组成
   $$E_{tex}(\mathrm{U})=E_{\text{data }}(\mathrm{U})+{\lambda }_{\text{reg }}{E}_{reg}(\mathrm{U})$$

   1. 光度误差项：
      $$E_{data}(\mathbf{U})=\sum _{v\in {\mathbf{V}}_M}\sum _{f\in {\mathbf{F}}_v}\sum _{\mathbf{b}\in {\mathbf{B}}_f}{\left({\mathbf{C}}_k\left(\mathbf{s}\left(\mathbf{b},\left\{u^f\right\}\right)\right)-{\mathbf{C}}_k^r\left(\mathbf{s}\left(\mathbf{b},\left\{u_0^f\right\}\right)\right)\right)}^2$$
      通过调整$C_k$上采样点的位置，从而最小化$C_k$ 和 $C_k^r$ 之间的光度误差

   2. 正则化项
      $$E_{reg}(\mathrm{U}))=\sum _{v\in {\mathbf{V}}_M}\sum _{v^{\prime }\in {\mathbf{N}}_1(v)}{\left(l\left(u^v,u^{v^{\prime }}\right)-l\left(u_0^v,u_0^{v^{\prime }}\right)\right)}^2$$
      为了防止过拟合，限制$C_k$上采样点位置的优化程度，使优化前后，采样点与采样点1-邻域的邻居间位置程度相似，保证采样点网格平滑的形变

6.3 在GPU上高效优化

1. 将多维变量的高斯牛顿问题，转为多个一维问题，

2. 优化$u^i$的时候，保持$U$中其他采样点位置$u^j$不变，从而实现并行

6.4 多尺度优化

1. 优化时间取决于$C_k$上采样点的密度（$U_k$的大小）、非重叠区域的大小区域、非重叠的幅度
2. 为了减小优化工作量，对$C_k$ 和 $C_k^r$ 建立高斯金字塔，用同样密度的网格在金字塔不同层采样、优化
3. 用这种coarse to fine 的方法渐近式的优化，

6.5 优化采样过程

1. 本节的优化结果是 预测图 与 RGB图之间的点匹配关系
2. 之前5.1节中，第k帧对应的纹理块集合 ${\mathcal{M}}_k$ ，以及每一纹理块$T_k^{\prime }$的节点点是来自于mesh网格中的节点投影到第k帧的位置
3. 经过本节优化过程，我们可以在mesh投影到 k 帧RGB图后，利用优化所得的匹配关系，将mesh投影的位置修改为更加精确的RGB位置，就可以获得更加精确的颜色信息，从而能将纹理更完整地重建出来
   配关系**
4. 之前5.1节中，第k帧对应的纹理块集合 ${\mathcal{M}}_k$ ，以及每一纹理块$T_k^{\prime }$的节点点是来自于mesh网格中的节点投影到第k帧的位置
5. 经过本节优化过程，我们可以在mesh投影到 k 帧RGB图后，利用优化所得的匹配关系，将mesh投影的位置修改为更加精确的RGB位置，就可以获得更加精确的颜色信息，从而能将纹理更完整地重建出来