论文理解：Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation

最新推荐文章于 2024-07-12 15:56:08 发布

八分真的很难

最新推荐文章于 2024-07-12 15:56:08 发布

阅读量112

点赞数

文章标签：人工智能深度学习计算机视觉

本文链接：https://blog.csdn.net/m0_66160751/article/details/130689148

版权

论文地址：Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation

题目：用于无监督生物医学分割的解剖先验卷积网络

摘要：

1. We specifically address the frequent scenario where we have no paired training data that contains images and their manual segmentations. Instead, we employ unpaired segmentation images to build an anatomical prior.

作者没有使用带标签的数据进行无监督学习

2. Critically these segmentations can be derived from imaging data from a different dataset and imaging modality than the current task. We introduce a generative probabilistic model that employs the learned prior through a convolutional neural network to compute segmentations in an unsupervised setting.

作者引入一种generative probabilistic model（生成概率模型）来学习大量来自其他任务的数据集（可以不是关于医学分割任务）获得先验知识，从而进行分割

参考：(24条消息) 机器学习 —— 李宏毅机器学习笔记（五）—— 概率生成模型_ProQianXiao的博客-CSDN博客

介绍：

1. However, CNNbased approaches most often depend on (large-scale) training data, particularly in the form of image scans paired with segmentations. These annotations are often costly and challenging to obtain because they require the tedious effort of a trained expert, taking several expert hours per scan.

深度学习通常需要大量数据，但是医学分割数据（包括标签）的获取是十分困难的

2. We use an auto-encoding variational CNN to characterize the anatomical prior, and an encoder-decoder CNN to provide fast segmentation of medical images in unsupervised settings.Our proposed strategy is general and computationally efficient, provides a natural framework for sampling possible subject-specific segmentations of a scan, and provides uncertainty estimates for these segmentations.

作者使用变分自动编码器（VAE）来表征解剖先验，并使用编码器-解码器CNN来在无监督环境中提供医学图像的快速分割。提出的策略是通用的并且计算效率高的，为扫描得到的特定主题的分割提供了一个自然采样的框架，同时为这些分割提供了不确定性估计

相关工作：

1. Segmentation Convolutional Neural Networks

分割卷积神经网络

CNN-based segmentation models have two major shortcomings: the dependency on annotated data, limiting their use in unsupervised settings; and their lack of anatomical knowledge. The latter limits the network’s ability to be faithful to known anatomical shapes during segmentation.

论文中介绍了U-net网络，然后表明了基于CNN分割模型的两个缺点：依赖于注释数据，限制了它们在无监督环境中的使用；缺乏解剖学知识。后者限制了网络在分割过程中忠于已知解剖形状的能力。

2. Priors for Convolutional Neural Networks

卷积神经网络中的先验

Convolutional methods are often limited in incorporating domain expertise.

Our method builds on these models to combine anatomical priors with image generation.

对于医学图像分割数据集的标注，相关专家可以使用模板来约束任务，即解剖相似性（人的大脑都有相似的形状，位置和外观），但是普通的CNN架构，并没有这样的先验知识，所以卷积方法在结合领域专业知识方面往往受到限制

我们的方法建立在这些模型的基础上（论文中谈到的模型包括：CRF、GAN、Variational Bayes auto-encoders），将解剖先验与图像生成相结合

3. Classical Generative Models

经典生成模型

Our inspiration comes from classical atlas-based probabilistic segmentation methods that estimate the maximum a posteriori (MAP) probability based on a generative model involving a prior probability and likelihood.

Our goal is to provide a first general approach to biomedical image segmentation in an unsupervised setting.

作者说：我们的灵感来自基于图谱的经典概率分割方法，该方法基于涉及先验概率和似然性的生成模型来估计最大后验概率。我们的目标是提供第一种在无监督环境中进行生物医学图像分割的通用方法

生成模型：

1. 作者使用变分自动编码器（VAE）来表征解剖先验。

$s$ ：3D 解剖分割图

$x$ ：3D MR图像

$x[]j]$ ， $s[j]$ ：定义在 $j$ 处的图像强度和标签

先验可以捕获关于空间分布和解剖形状的知识， $z$ 表示这些知识（空间分布和解剖形状）的嵌入潜在变量，假设先验概率分布模型是均值为0的正态分布：

$p(z) = N(z;0,1)$

2. $s$ 又是由 $z$ 通过一下计算所决定的：

$P\theta _{s|z}(s|z) = \underset{j}{\prod}f_{j,s[j]}(z|\theta _{s|z})$

其中 $f_{j,l}(\cdot ;\theta _{s|z})$ 表示标签 $l$ 在体素 $j$ 处的概率

3. 从得到的标签图 $s$ ，根据每个体素 $j$ 进行正态分布采样生成 $x$ ：

$P\theta _{x|s}(x|s) = \underset{j}{\prod }\underset{l}{\prod }N(x[j];\mu _{l},\sigma _{l})^{\delta (s[j]=l)}$

其中 $\theta _{z|s} = \left \{ \mu _{l},\sigma _{l} \right \}$ 和 $\delta (s[j]=l)$ 是指示函数，如果 $s[j] = 1$ ，则为1，否则为0， $z$ 决定了 $s$ 中可能的解剖形状， $s$ 又决定了可能观察到的图像 $x$

4. 给定的一个图像 $x$ ，为了获得分割图 $s$ ，使用MAP（maximum a posteriori，最大后验估计）：

$\widehat{s_{i}} = \arg \underset{s_{i}}{max} \log p(s_{i}|x_{i};\theta ) \\= \arg \underset{s_{i}}{max} \log p(s_{i},x_{i};\theta )$

以上具体的学习过程将在下一章给出

生成模型参考：(29条消息) 各种生成模型：VAE、GAN、flow、DDPM、autoregressive models_AI强仔的博客-CSDN博客

学习：

1. 基础知识的推导

如果不假设给定图像分割映射的体素独立性，想要通过得到 $p\theta (z|x,s)$ 从而获得 $p\theta (s|x)$ 是很难的。所以借鉴了《Auto-encoding variational bayes》，用 $q\phi (z|x,s)$ 近似 $p\theta (z|x,s)$ ，使用KL散度来衡量两个分布之间的距离差异：

$KL\left [ q_{\phi }(z|x,s)||p_{\theta }(z|x,s) \right ] \\= E_{q}\left [ \log q_{\phi }(z|x,s)-\log p_{\theta }(z|x,s) \right ] \\= E_{q}\left [ \log q_{\phi }(z|x,s)-\log p_{\theta }(x,s,z) \right ] + \log p_{\theta }(x,s)$

重新排列得到：

$\log p(x,s) = KL\left [ q_{\phi }(z|x,s)||p_{\theta }(z|x,s) \right ]+E_{q}\left [ \log p_{\theta }(x,s,z)- \log q_{\phi }(z|x,s) \right ]$

由于 $z$ 的近似后验和真后验的KL散度是非负的，因此使用公式第二项作为模型证据或联合概率的变分下界，对于给定的近似分布 $q_{\phi }(z|x,s)$ ，我们可以通过优化下界来估计 $\theta$ ：

$V_{model}(\theta ,\phi ;x,s) = E_{q}\left [ \log p_{\theta }(x,s,z)- \log q_{\phi }(z|x,s) \right ] \\=E_{q}\left [ \log p_{\theta }(x,s|z) \right ] - KL\left [ q_{\phi } (z|x,s)||p(z) \right ]$

我们将近似后验 $q_{\phi }(z|x,s)$ 建模为仅依赖于图像的法线:

$q_{\phi }(z|x,s) = q_{\phi }(z|x) \\ = N(z;\mu _{z|x},\sum _{z|x})$

其中 $\sum _{z|x}$ 是对角线

总结：我们要做的就是使用卷积神经网络去估计近似分布的参数。通过设计编码卷积神经网络 $\phi (x)$ ，它以 $x$ 为输入，输出近似后验分布的参数 $\mu _{z|x}$ 和 $\sum _{z|x}$ 。该网络学习如何将整个(MR)图像嵌入到最可能的低维解剖嵌入z及其方差中

解码器网络 $dec_{\theta _{s|z}}\left ( z \right )$ 用于计算分割的概率，其中 $z$ 为输入，并输出参数 $f\left (z;\theta _{s|z} \right )$ 的分段分类分布 $p\theta _{x|z}\left ( s|z \right )$ ，参数 $\theta _{x|z}$ 可以使用一组单独的分割数据学习。似然模型，通过神经网络学习参数 $\mu _{l}$ ，我们单独估计 $\sigma _{l}$

2. 自动编码解剖先验

先从未标注的分割数据集中学习先验知识，假设正态分布：

$q_{\psi }(z|s) = N(z;\mu _{z|s},\sum _{z|s})$

$q_{\psi }(z|s)$ 为近似分布

$\nu _{prior}\left ( \theta ,\phi ;s \right ) = E_{q}\left [ \log p_{\theta }\left ( s,z \right )-\log q_{\phi }\left ( z,s \right ) \right ] \\ = E_{q}\left [ \log p_{\theta }\left ( s|z \right )\right ]-KL\left [ q_{\phi }\left ( z|s \right )||p\left ( z \right ) \right ]$

使用Stochastic Gradient V ariational Bayes (SGVB)进行优化。对于每个数据点 $s_{i}$ 和样本 $z_{k}\sim q_{\phi \left ( z|s_{i} \right )}$ ，损失为：

$L_{prior}\left (\theta _{s|z},\psi ;s_{i},z_{k} \right ) \\= KL\left [\log q_{\psi}\left ( z|s_{i} \right )||\log p\left ( z \right ) \right ]-\log p_{\theta _{s|z}}\left ( s_{i}|z_{k} \right ) \\= \frac{1}{2} \sum_{j}^{}\left ( 1+\log \sum _{z|s_{i}}\left [ j \right ] -\mu _{z|s_{i}}^{2} - \sum _{z|s_{i}}\left [ j \right ]\right ) - \sum_{j}^{}s_{i}\left [ j \right ]\log f\left ( z_{k};\theta _{s|z} \right )\left [ j \right ]$

3. 无监督学习

通过前面的学习，损失函数可以写成：

$L_{model}\left ( \theta , \phi ;x_{i},s_{i},z_{k} \right ) = -\nu _{i}\left ( \theta , \phi ;x_{i},s_{i},z_{k} \right ) \\ = KL\left [ q_{\phi }\left ( z|x_{i} \right )||p\left ( z \right ) \right ] - \log p_{\theta _{s|z} }(x,s_{i}|z_{k}) \\ = KL\left [ q_{\phi }\left ( z|x_{i} \right )||p\left ( z \right ) \right ] - \log p_{\theta _{s|z} }(s_{i}|z_{k}) - \log p_{\theta _{x|s} }(x_{i}|s_{i})$

可以根据前面部分进一步得出结果。上述三项分别是KL散度、分割图分类交叉熵和基于强度的均方误差，对于分割图分类交叉熵无法直接计算，所以根据边缘化和Jensen不等式做了一些处理使得最后的损失函数为：

$L_{model}\left ( \theta _{x|s}, \phi ;x_{i},z_{k} \right ) = \frac{1}{2} \sum_{j}^{}\left ( 1+\log \sum _{z|x_{i}}\left [ j \right ] -\mu _{z|x_{i}}^{2} - \sum _{z|x_{i}}\left [ j \right ]\right ) + \sum_{j}^{} \sum_{l}^{} \frac{f_{j,l}\left ( z_{k}|\theta _{s|z} \right )}{2\sigma _{l}^{2}}\left ( x_{i}-\mu _{l} \right )$

4. 推理和不确定性

模型还可以根据特定图像进行采样分割，并可以估计不确定性。给定输入图像 $x_{i}$ ，我们可以创建样本 $z_{k}\sim q_{\phi \left ( z|x \right )}$ 和 $s_{k}\sim p_{\theta _{s|z} \left ( s|z_{k} \right )}$ ，模拟给定主题的不同粗略的分割。

5. Implementation

说明了实验中的一些设计。虽然对3D图像进行操作，但在实验中还是使用了2D架构（因为GPU内存等原因），作者采用每个编码器由五个下采样级别组成，每个下采样级别为一个卷积层，具有3x3个具有relu激活的卷积内核，每个内核有32个特征。最后一层是密集的，有1000长的均值和标准差表示编码

实验

结论：

1. In this paper, we introduced a generative probabilistic model that employs a prior model learned through a convolutional neural network to compute segmentations in an unsupervised setting. We can interpret the anatomical prior as encouraging the neural network to predicting segmentation maps that come from a known distribution characterized by z while simultaneously producing images that agree with the observed scan. We demonstrate that our model enables segmentation using convolutional networks leading to rapid inference in a setting where segmentation is traditionally not possible, or takes hours to obtain for a single scan. The integration of priors promises to facilitate accurate anatomical segmentation in a variety of novel clinical problems with limited dataset availability.

在本文中，我们介绍了一种生成概率模型，该模型使用通过卷积神经网络学习的先验模型来计算无监督环境中的分割。我们可以将解剖学先验解释为鼓励神经网络预测来自以 $z$ 为特征的已知分布的分割图，同时产生与观察到的扫描一致的图像。我们证明，我们的模型能够使用卷积网络进行分割，从而在传统上不可能进行分割或单次扫描需要数小时才能获得分割的情况下实现快速推理。先验的集成有望在数据集可用性有限的情况下，促进各种新的临床问题的精确解剖分割

参考：(29条消息) [深度学习从入门到女装]Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation_炼丹师的博客-CSDN博客

Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation - 简书 (jianshu.com)

论文已将代码贴出，有需要可以从论文中获取

以上都是个人理解，文章图片均来自论文，如有不正确处，欢迎大家提出，谢谢！

八分真的很难

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
论文理解：Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation

为特征的已知分布的分割图，同时产生与观察到的扫描一致的图像。提出的策略是通用的并且计算效率高的，为扫描得到的特定主题的分割提供了一个自然采样的框架，同时为这些分割提供了不确定性估计。对于医学图像分割数据集的标注，相关专家可以使用模板来约束任务，即解剖相似性（人的大脑都有相似的形状，位置和外观），但是普通的CNN架构，并没有这样的先验知识，所以卷积方法在结合领域专业知识方面往往受到限制。的近似后验和真后验的KL散度是非负的，因此使用公式第二项作为模型证据或联合概率的变分下界，对于给定的近似分布。
复制链接

扫一扫