代价体积（Cost Volume）

代价体积（Cost Volume）

是立体视觉或多视角立体视觉中常用的概念，用于表示不同深度假设下的匹配代价。它可以帮助计算图像中每个像素的深度信息。下面详细解释代价体积及其元素的作用。

代价体积的定义

代价体积是一个三维张量，其中每个元素表示某个像素在不同深度假设下的匹配代价。这个代价通常反映了参考图像中的像素与源图像中对应像素的匹配程度。代价体积的维度通常包括：

1. 图像宽度（Width）
2. 图像高度（Height）
3. 深度层数（Depth Levels）

代价体积的构建

在立体视觉中，代价体积的构建过程如下：

1. 特征提取：

   • 从参考图像和源图像中提取特征。这些特征可以是图像的像素值、纹理信息、边缘等，通常通过卷积神经网络（CNN）进行提取。

2. 深度假设：

   • 对于每个像素，考虑不同的深度假设。即假设场景中该像素在不同的深度平面上可能的位置。这些假设构成了代价体积的深度维度。

3. 匹配代价计算：

   • 对于每个深度假设，计算参考图像中每个像素与源图像中对应像素的匹配代价。代价通常基于像素的颜色差异、特征相似度等计算。

   例如，使用像素的绝对差异、均方误差（MSE）或其他距离度量来计算代价。代价越低，表示两个像素在该深度假设下的匹配程度越高。

代价体积的结构

• 宽度和高度：代价体积的宽度和高度与输入图像的尺寸相同。这是因为代价体积需要保存每个像素在不同深度假设下的匹配代价。

• 深度层数：深度层数表示不同的深度假设。每个深度层对应一个可能的深度值，通常从前景到背景递增。

代价体积的元素

代价体积中的每一个元素表示某个像素在不同深度假设下的匹配代价。具体来说：

• 位置 ((x, y, d))：代价体积中位置 ((x, y, d)) 对应于参考图像中位置 ((x, y)) 的像素在第 (d) 个深度假设下的代价。

• 值：这个值是参考图像中 ((x, y)) 像素与源图像中对应像素的匹配代价。它通常是一个非负值，值越低表示匹配越好。

代价体积的应用

代价体积用于后续的处理步骤，如：

1. 代价聚合：通过卷积神经网络或其他方法对代价体积进行聚合，以提取有效的深度信息。聚合过程可能涉及计算代价体积的均值、最小值等统计量。

2. 深度估计：从代价体积中选择代价最小的深度值作为最终的深度估计。这通常通过简单的最小化操作或通过更复杂的优化算法实现。

3. 后处理：对深度估计结果进行平滑、去噪等处理，以获得更高质量的深度图。

例子

假设有一个大小为 ( (H, W) ) 的图像，和 ( D ) 个深度假设：

1. 输入：图像 ( (H, W) ) 和 ( D ) 个深度假设。
2. 代价体积：生成一个大小为 ( (H, W, D) ) 的代价体积。
3. 元素：代价体积中的每个元素 ( (x, y, d) ) 代表图像中位置 ( (x, y) ) 在第 ( d ) 个深度假设下的匹配代价。

通过这个代价体积，可以为每个像素选择最适合的深度假设，得到图像的深度信息。