confidence map 置信图。像素级图像质量评估

confidence map 置信图

matlab实现confidence map的代码可以到github下载，点击此链接

python实现，这边还有一个改进版本的，也可以看一下，都很不错

1. 前言

前几天想快速了解一下什么是置信图，结果就百度了一下，发现完全没有相关的大佬出来发帖解释。没办法了，只能去找原文看一看了。先给大家总结一下关于置信图（confidence map）的知识点，并一句话概括confidence map的以一个作用：
首先，主要知识点包括：

1. 随机游走算法，可以参考这么大神的文章，当然了，你还可以自己搜索一些，因为我们是使用随机游走算法计算置信度的，因此要了解随机游走算法
   随机游走算法Random Walks

这个可以重点看一下，基本一遍就可以看懂，切记不要走马观花，不然一辈子看不懂

还有关联矩阵最好也看一下

2. 图论，有向图和无向图可以了解一下，知道什么是节点和边就行了图论的基本介绍，大家看这个一系列的介绍基本就差不多了
3. 矩阵分析的一些知识，这个是需要积累的。
4. 置信度。大家自己了解一下就行了，主要是统计学方面的知识。

然后，我在一句话概括什么是confidence map：
所谓的confidence map原理其实就是：
在超声图像和超声特定的约束下，从某个像素开始的随机游走能够到达虚拟换能器节点的概率是多少？
为此，我们假设超声传输的可能性与图像信息的置信度直接相关，即，超声传输越低，我们对图像信息的置信度就越小。超声特定的约束条件是从超声领域的特定知识中得出的，包括：传输模型，与深度有关的衰减和超声扫描线约束条件。
confidence map的作用：
用于评估图像的质量，离超声探头越远的图像质量越差，那么在该点放置的agent将很那随机游走到初始节点；而超声探头越近，图像质量越好，那么在该像素点放置agent，则该agent将很容易回到初始及节点。
为此，我们设置：将图像看作是一个无向加权图（graph）G =（V，E），图像的每个像素是一个节点V，每个节点之间都有一个辺E。我们给每个边分配了一个权重w，常识上来向，距离超声探头越近的节点（像素），则节点之间的权值越大；距离超声探头越远，则权值越小。即：越近越容易回到源，越远越不容易回到源。

2. 超声置信图—confidence map

------在这项工作中，我们建议使用随机行走框架进行超声置信度估计。更具体地说，将所需的种子自动放置在每条扫描线的开头，以表示虚拟换能器元素。因此，现在通过计算从像素开始到达虚拟换能器元件的随机游走的概率，来解决与图像分割不同的问题。超声的领域特定知识与超声成像过程的简单建模集成在一起。具体而言，超声传输的减少是从图像梯度得出的，深度依赖的衰减包括在图拉普拉斯算子的边缘权重中，并且图中距初始像素较远的水平/对角线运动受到惩罚，以模拟束宽。目前，我们的模型忽略了频率相关的衰减以及诸如衍射之类的各种超声效应。

------我们将置信度估计问题公式化为：在超声特定的约束下，从像素开始随机游走到达每个虚拟换能器元素的概率是多少？为了回答这个问题，我们从所需的种子放置程序开始，调整原始的随机游走以进行图像分割算法，以提供所需的解决方案。

------为了模拟我们的问题，将种子自动放置在每条扫描线的开头，代表虚拟换能器元件的位置。在每条扫描线的末端，代表吸收区域，在此之后实际上没有信号被记录。图1给出了种子放置的示意图。从我们问题的表述中可以看出，我们仅对在虚拟换能器节点处到达种子的概率感兴趣。仅需要吸收区域的种子满足边界条件。在图graph上制定随机游走问题可以使晶格表示任意尺寸和拓扑。直接的结果是，通过将晶格列与扫描线在轴向波束方向上对齐，可以用这种方法对所有可能的换能器几何形状进行建模。

图1：使用8个连接点阵的置信图的图形来构成一个图。第一行类似于虚拟传感器（即超声探头）元素，其概率设置为1（深灰色阴影）。最后一行类似于“无信号”区域，即必要的边界条件，其概率设置为零（阴影为亮灰色）。对于中间的所有节点，我们计算从每个节点开始的随机游走首先到达虚拟换能器元素之一的概率。

------在这一阶段，对边E权重使用高斯函数求解概率对我们的问题毫无意义。基本上，获得的解将具有高概率，直到达到图像中最强的梯度，然后概率突然下降。从图像分割的角度来看，我们将获得图像中最显着的梯度的切面，由于组织压缩，超声中的梯度通常位于近场。因此，我们需要集成超声特定的约束条件以获得所需的置信图。超声波的基本特性之一是信号随着深度的增加而衰减。超声衰减存在各种模型，请参阅Cobbold的文章[1]，包括比尔-兰伯特定律的变化形式，我们将其用于表达深度相关衰减的方法。衰减信号I由下式给出

$I=I_{0}exp(-\alpha d)$ -------------------------------------

------其中$I_0$是初始强度，α是衰减系数，d是距光源的距离。为了将此属性包括在我们的置信图估计中，我们调整了随机游动的行为。更具体地，从距离虚拟换能器开始的随机行走越远，它将越不可能到达虚拟换能器元件（种子点，在图论中可以理解为，源和宿）之一。

------在超声图像形成过程中，从换能器发出狭窄且聚焦的声束以获取每个图像扫描（Hedrick【2】； Cobbold【1】）。因此，在该窄束之外的声音不太可能显着地有助于获取每个扫描线。然而，光束宽度导致靠近扫描线的结构有助于所获取的回波。该属性被建模为随机游走框架，如下所示：从扫描线的节点开始的随机游走应该能够沿着图graph的水平和对角线方向移动，即近似垂直于波束/扫描线方向。但是，水平/对角行走的可能性应随着与扫描线距离的增加而减小。关于此属性的更直观的解释是，图像中反射器下方开始的随机行走应该能够围绕它弯曲，这在现实中就是这种情况。但是，应限制弯曲程度以模拟形成扫描线的超声波束的宽度。

这两个约束（宽度和衰减）通过新的加权函数集成到随机游走框架中，该函数由以下公式给出：

------其中$E_H$，$E_V$，$E_D$分别是沿水平，垂直和对角线图方向的边缘，如图1，其中$E_H+E_V+E_D=E$，gi是节点/像素i处的图像强度，li是从节点vi到虚拟传感器元素（种子）的标准化最近距离。自由参数（α，β，γ）在以下段落中详细描述。

------通过将像素强度缩放为到虚拟换能器元件的距离的函数，将Beer-Lambert衰减集成到随机游走加权函数中。随着到虚拟换能器元件的距离增加，这有效地降低了置信度；由于依赖于深度的衰减，因此可以有效地对数据中的不确定性进行建模。上述平衡问题的解决方案导致随机游走进一步远离换能器，从而降低了到达虚拟换能器元件的可能性，反之亦然。但是，请注意，概率仍然取决于图像内容，即图像强度。这是期望的，因为即使图像结构靠近换能器元件存在，它们也可能导致置信度的高度下降。

------参数γ充当随机游走的惩罚，随着距源节点的水平/对角距离增加，随机游走穿过图中水平/对角边的可能性降低。距离被隐式编码为该公式。基本上，该项针对每个随机游动累积作用，在电路理论中解释时会变得很明显。根据欧姆定律和基尔霍夫定律，我们知道从高电阻电路路径可以达到的节点电位比通过低电阻电路路径可以达到的节点电位低。因此，加性项沿可能的水平/对角随机游动的阻力累积增加。请注意，对角走行会进一步受到$\sqrt{2}$倍γ的惩罚，以正确建模与水平走行相比到相邻节点的更大距离。

------超声波传输是指在两种具有不同声阻抗的介质的边界处传输的声能/强度。在这样的边界/界面处，一部分能量被反射，产生由超声换能器检测到的回声，一部分能量因为透射被传输到下面的组织中。反射和透射呈负相关，即反射越高，透射率越低。有关超声物理学和图像形成的更全面概述，请参阅Hedrick[2]。可以假设超声图像中的高强度对应于低透射率的增加的可能性。这将建议使权重与超声图像强度gi成正比。另一方面，图像强度的变化也暗示了超声波透射率的变化。这是因为，即使在没有单个强反射器的情况下（考虑到肝腺内血管的情况），不同异质组织类型的传输特性也部分地由其回声性暗示。 这又暗示我们在权重项内使用图像梯度gi-gj。我们研究了同时使用强度和相应梯度的各种组合，并得出结论，单独使用后者可产生更稳定的结果。

3. 如何求置信度 confidence map

3.1 概率学中的置信度

在上面，我们讲了如何使用confidence map实现对超声图像的一些操作，主要讲了使用随机游走框架求每个像素点的置信度，并用这些置信度进行图像配准，阴影区域的检测等。但是到底超声置信度是什么，我们用随机游走框架求出来的到底是什么？
------首先，让我们先去百度百科上回顾一下，什么事超声置信度，为了不麻烦你们，我直接把上面的内容搬过来。
------首先，置信度也叫置信水平。
------在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。这个概率被称为置信水平=置信度。下面我们统一说置信度

举个例子
------如果在一次大选中某人的支持率为55%，而置信度0.95上的置信区间是（50%,60%），那么他的真实支持率有95%的机率落在50%和60%之间，因此他的真实支持率不足一半的可能性小于2.5%（假设分布是对称的）。
------如例子中一样，置信度一般用百分比表示，因此置信度0.95上的置信区间也可以表达为：95%置信区间。置信区间的两端被称为置信极限。对一个给定情形的估计来说，置信度越高，所对应的置信区间就会越大。
------对置信区间的计算通常要求对估计过程的假设（因此属于参数统计），比如说假设估计的误差是成正态分布的。
------置信区间只在频率统计中使用。在贝叶斯统计中的对应概念是可信区间。但是可信区间和置信区间是建立在不同的概念基础上的，因此一般上说取值不会一样。 置信空间表示通过计算估计值所在的区间。 置信度表示准确值落在这个区间的概率。 置信区间表示具体值范围，置信度是个概率值。例如：估计某件事件完成会在10~12日之间，但这个估计准确性大约只有80%：表示置信区间（10,12），置信度80%。要想提高置信度，就要放宽置信空间。
------置信度是指总体参数值落在样本统计值某一区内的概率；
------而置信区间是指在某一置信度下，样本统计值与总体参数值间误差范围。置信区间越大，置信水平越高。

3.2 模式识别领域的置信度

------从上面的介绍我们大概可以看出：置信度其实就是一个概率。一个表示某个样本统计值发生在某一区间的概率。这边，我们可以想想那个正态分布图。

------同样的思想，我们将置信度引入到超声图像中，在基于随机行走的置信度计算中，我们将某个节点（像素i）处放置的agent，该智能体执行随机行走，从该节点到达种子点的概率表示为置信度。此时，距离种子点越近，越容易到达种子点，则置信度越高，表示图像越清晰，距离种子点越远，置信度越低，越不容易到达种子点。
------到这里，我想大家大概应搞明白了，超声置信度大概是用来干嘛的了，其实超声置信度不是单独用于评价图像质量的，当然我们也可以这么用。

3.3 用随机游走算法求置信度图

------承接上面的思想，我们来说说，到底该如何求这个概率。
------在这里，我们使用随机游走算法 random work来计算，为什么使用随机游走算法求解这个置信度图呢？我们在上面对置信度已经给出了一个解释，即置信度就是一个概率。
------然后呢，又开始有人疑惑了，如何求解这个概率呢？也就是说，这个概率该如何表述出来呢？
------下面，我们用简单的几个例子来说明一下：
这个例子呢，是在图形分割中引入的，但是不影响我们对概率（置信度）进行估计
------最初为K标签图像分割引入了随机游走算法（Grady，2006）。图像表示为无向加权图G =（V，E），其中节点v∈V代表图像像素，边e∈E代表$e_{ij}$连接节点$v_i$和$v_j$。每个边$e_{ij}$被分配一个权重$w_{ij}$> 0，该权重$w_{ij}$> 0表示随机游走穿过该边的可能性。根据图拉普拉斯矩阵L，计算从未被标记的像素i开始的随机游走，到达标签种子中的第一个种子的概率（其中用于图像分割，种子分为前景和背景，前景即是目标），该概率定义为：

------其中 $d^{{}_i}={\sum }_j{w}_{ij}$。或者，拉普拉斯矩阵也可以由图关联矩阵A和边权重的对角矩阵C来构造：$L=A^{T}CA$（T表示转置）。请注意，L是一个稀疏，对称和半定矩阵。随后，L被重新排序并分解为被标记为M的块和未标记为U的块。

------通过求解线性方程组，可以获得所需的概率，即置信度。在这里表示位置像素到达种子点的概率也就是置信度。

------其中$X_U$表示未标记节点的未知概率，$X_M$表示种子节点的已知单位概率。
------当然啦，上面的那个公式，是需要求解的。一般推荐实际梯度下降方法就可以了。
在这里，求出来的$X_U$就是置信度。

好了，至此，置信度图已经讲解完毕。我们是在具体实例中讲解的，大家如果有不理解的地方，或者我有讲错的地方，可以致信：weizhen_sun01@163.com
或者直接在下面留言。

4. 参考文献

1. Cobbold, R.S.C., 2007. Foundations of Biomedical Ultrasound. Oxford University Press.
2. Hedrick, W., Hykes, D., Starchman, D., Wilson, T., 1995. Ultrasound physics and instrumentation. Mosby St. Louis, MI.