Joint Image and Depth Estimation With Mask-Based Lensless Cameras（基于掩模的联合图像和深度估计无镜头成像）

凌晨的泓水

已于 2023-06-01 16:46:43 修改

阅读量118

点赞数

文章标签：计算机视觉算法

于 2023-06-01 16:39:44 首次发布

本文链接：https://blog.csdn.net/my_hongshui/article/details/130984013

版权

基于研掩膜的无镜头相机用定制掩膜取代了传统相机的镜头。这些相机可能非常薄，甚至可以弯曲。现有的深度恢复算法要么假设场景由少量深度平面组成，要么解决大3D体上的稀疏恢复问题。这两种方法都无法恢复深度变化较大的场景。在文章中，作者提出了一种基于交替梯度下降算法的深度估计新方法，该算法从未知场景的无透镜测量中联合估计连续深度图和光线分布。文章给出了各种3D测试场景的图像和深度重建的仿真结果。与其他方法的比较表明，该算法对深度范围较大的自然场景具有更强的鲁棒性。作者建立了一个无镜头相机的原型，并给出了重建不同真实物体的强度和深度图的实验结果。

一、成像模型

作者将成像模型表达成如下图（作者为了可读性，因此给出的图是二维的）所示：

作者将光源深度z和光线与传感器中心点所成夹角θ作为光源在穿过掩膜打在传感器上时与掩膜mask交点位置m的两类变量。如上图所示， $m=\alpha s+dtan\vartheta ,\alpha =1-\frac{d}{z}$ ,作者将α作为（逆）景深参数，也是重构算法中，需要迭代求解的一个参数。

将其拓展到三维空间，则光线通过掩膜之后的公式为：

其中 $\psi _{i,j }(s_{u},s_{v})$ 表示为场景中的单个光源在传感器阵列上投射一个掩模的阴影， $(s_{u},s_{v})$ 为传感器像素点位置。mask(.)表示掩膜传递函数。

如果三维场景仅由 $\left ( {\theta _{i},\theta _{j}} \right )$ 处的单个点光源组成，光强为 $l_{i,j}$ ，则在传感器像素 $(s_{u},s_{v})$ 处捕获的测量值为:

在任何传感器像素上记录的测量是来自3D场景中每个点源的贡献的总和。单个传感器像素的成像模型可以表示为：

可以把整个传感器的成像模型写成以下形式：

其中， $y\in R^{_M{2}}$ 是表示传感器测量值的M × M矩阵的矢量化形式， $I\in R^{_N{2}}$ 是表示来自所有位置 $\left ( {\theta _{i},\theta _{j}} ,\alpha _{i,j}\right )$ 的光强的N × N矩阵的矢量化形式，Ψ是包含所有对应于 $\left ( {\theta _{i},\theta _{j}} ,\alpha _{i,j}\right )$ 的基函数的矩阵。基函数用未知的 $\alpha \in R^{_N{2}}$ 参数化，e表示系统中的噪声。

成像模型已经给出了，重构算法即是解优化问题：

式（6）

上述优化问题，如果知道α的真值(或者可以将其固定到某个值)，那么上述问题就可以简化为线性最小二乘问题，可以通过标准求解器有效地解决。另一方面，如果我们固定了I 的值，问题对于α仍然是非线性的。在接下来的内容将讲述文章中通过交替最小化来解决上述的优化问题的方法。

由于式（6）中的最小化问题不是凸的，通常需要适当的初始化以保证收敛到最优点附近的局部最小值。一种naïve方法是初始化场景中相同深度平面上的所有点源。为了选择初始深度平面，做作者扫描一组候选深度平面，通过求解以下线性最小二乘问题，每次在一个深度平面上进行图像重建:

计算所有候选深度平面的损失值，并选择损失最小的一个作为初始深度。掩模基函数随α的变化而变化，与景深呈反比关系。作者选择与均匀采样值相对应的候选深度，从而产生物理场景深度的非均匀采样（说人话就是对α进行均匀采样，就能对实际景深的非均匀采样，由于α值会很接近1，所有采样的间隔应该得很小才行，个人理解）。单深度初始化方法计算简单，并且提供了合理的初始化光分布，特别是当场景远离传感器时。

作者使用的初始化的第二种方法是参考文献【6】中提出的贪婪方法。贪婪算法被广泛用于稀疏信号恢复。基于这些算法，【6】提出了一种贪婪深度追踪算法，用于从FlatCam（无镜头掩膜相机）进行深度估计。该算法通过迭代更新与观察到的测量值匹配的深度表面来工作。

深度追踪方法假设场景由少量预定义的深度平面组成。通过在单个深度平面上初始化所有像素并基于初始化的深度图估计光强l来启动迭代程序。第一步是为 α 选择新的候选值。新的候选值是使用与估计当前残差最相关的基向量来选择的。在第二步中，将新的α候选项附加到当前估计中。我们用附加的α来解决最小二乘问题。在第三步中，我们通过选择 $\alpha _{i,j}$ 作为 $\ l_{i,j}$ 的最大数量级对应的值来修剪α。虽然这种方法可能不能很好地估计离网点源，但它产生了一个很好的场景初步估计。

为了解决式(6)中的最小化问题，作者从初始化步骤开始初步图像和深度估计，并通过梯度下降交替更新深度和光分布。梯度下降法的主要计算任务是计算损失函数 w.r.t. α 的梯度（寻找α ）。为了计算这个梯度，作者将式(6) 中的损失函数扩展为：

定义为位置 $(s_{u},s_{v})$ 处的剩残差近似误差。损失函数相对于 $\alpha _{i,j}$ 的导数为：

基函数对于α的导数：

$u_{i,j}=\alpha _{i,j}s_{u}+dtan(\theta _{i})$ 和 $u_{i,j}=\alpha _{i,j}s_{v}+dtan(\theta _{j})$ 表示两个虚拟变量，它们也对应于掩膜上的特定位置（即开始第一张图中的m），其中来自角度 $\left ( {\theta _{i},\theta _{j}} \right )$ 的点源的光射线和深度 $\alpha _{i,j}$ 和 $(s_{u},s_{v})$ 处的传感器像素与掩膜平面相交。

如果使用可分离的掩膜，则可以将与表示为：

最后，损失函数相对于 $\alpha _{i,j}$ 的导数为：

后续作者使用了三种不同的正则化方法，分别是以下三种：

1.L2范数空间梯度正则化，其原理是假设相邻像素的深度通常接近（实际也是如此），这意味着(逆)深度图的空间差异很小。在逆深度图的空间梯度上添加了一个二次正则化项到损失函数中:

2.空间梯度的加权 L2 范数正则化：尽管逆深度图上的平滑正则化去除了一些局部最小值并有助于收敛，但它对于深度图中的锐利边缘并不敏感。为了在(逆)深度图中保持边缘，不会在边缘地方过于平滑，使用了以下自适应加权正则化：

3.L1范数空间梯度正则化：众所周知，l1 范数正则化强制解是稀疏的。为优化问题添加了一个深度的基于 L1 的总变化范数。通过强制空间梯度的稀疏性，可以保留（逆）深度图的边缘。基于 L1 范数的正则化项由下式给出：

为了求解具有L1范数正则化的非线性优化问题，将优化问题写为ADMM优化形式（这是我自己臆想的，看见这种形式的式子第一反应就是使用ADMM）：

不同正则化项产生的（逆）景深图如下：

PSNR分别为：29.69db，31.65db，30.82db。(此结果是在无噪声条件下的模拟结果)

凌晨的泓水

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Joint Image and Depth Estimation With Mask-Based Lensless Cameras（基于掩模的联合图像和深度估计无镜头成像）

原文章链接：https://ieeexplore.ieee.org/document/9144433
复制链接

扫一扫