最近看论文看到深度传播方面的知识,随后想起之前做过视差一致性检查
方面的工作,所以就小结一下,一致性检查方面的知识。
彩色一致性检查
- 原理:彩色一致性是指对于一幅图片,如果空间相邻区域像素亮度值相似的话,它们的颜色也是类似的。随后建立
约束模型
,约束为当前像素的颜色与邻域像素的颜色的误差
。
深度一致性检查 —— 深度传播
- 原理:如果一幅图片的空间相邻区域亮度值类似的话,那么它的深度值也是类似的。根据这一原理,将深度估计问题进行
优化建模
,通过求解这个优化问题来获得整个图像的深度图,这就是基于深度一致性的深度传播算法
的基本原理。 - 优化模型:计算下面的代价函数:
min D J ( D n o n − k e y ) = ∑ r ( D n o n − k e y ( r ) − ∑ s ∈ N ( r ) w r s D n o n − k e y ( s ) ) 2 s u b . t o D n o n − k e y ( r i ) = D k e y ( r i ′ ) \begin{array}{c}{\min _{D} J\left(D^{n o n-k e y}\right)=\sum_{r}\left(D^{n o n-k e y}(r)-\sum_{s \in N(r)} w_{r s} D^{n o n-k e y}(s)\right)^{2}} \\ {\quad s u b . t o D^{n o n-k e y}\left(r_{i}\right)=D^{k e y}\left(r_{i}^{\prime}\right)}\end{array} minDJ(Dnon−key)=∑r(Dnon−key(r)−∑s∈N(r)wrsDnon−key(s))2sub.toDnon−key(ri)=Dkey(ri′) - N ( r ) N(r) N(r)是像素 r r r的一个邻域窗口, w r s w_{rs} wrs是邻域窗口的加权函数。
- 上面公式中,
D
n
o
n
−
k
e
y
(
r
i
)
=
D
k
e
y
(
r
i
′
)
D^{non-key}(r_i) = D^{key}(r_i^\prime)
Dnon−key(ri)=Dkey(ri′)是代表通过
特征点匹配
,将关键帧的深度值
赋予给非关键帧中对应的像素点。 - 代价函数计算的是非关键帧中当前元素深度和邻域元素深度的关系。