基于深度学习和无监督血管分割的OCTA图像中央凹血管区分割 -- ICASSP2021 阅读笔记

最新推荐文章于 2023-09-11 00:08:48 发布
最新推荐文章于 2023-09-11 00:08:48 发布
阅读量2.4k 收藏 10
点赞数
分类专栏： DeepLearn 文章标签： 图像处理 octa 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41699508/article/details/118530539
版权

文章目录

文章信息

标题

FOVEAL A V ASCULAR ZONE SEGMENTATION OF OCTA IMAGES USING DEEP
LEARNING APPROACH WITH UNSUPERVISED VESSEL SEGMENTATION

出处

ICASSP 2021

关键词

FAZ分割，血管分割，OCTA图像，风格转移，一致性损失

任务背景

任务需求

视网膜中央凹无血管区(FAZ)是视网膜疾病检测的关键指标，准确的自动FAZ分割在临床应用中具有重要影响。需要一种从浅层OCTA图像出发，分割出精确的FAZ位置的方法

背景

虽然OCTA可以提供3D数据来帮助疾病检测，但OCTA图像的正面投影图也常用于研究和实践中，以发现潜在的视网膜疾病。视网膜中央凹无血管区(FAZ)通常位于视网膜投影图像的中间，包含很少的血管。FAZ可以被认为是一些视网膜疾病检测的指标，如糖尿病视网膜病变[5]。在OCTA图像中，FAZ通常具有更清晰的边界，OCTA图像可用于FAZ评估
但是在现有的方法中，常常只输出了单个的FAZ分割图，忽略了重要的血管信息；清晰的血管分割图可以让FAZ的边界更加清晰，进一步提升FAZ的分割精度
但是血管分割的一个挑战就是缺乏标签。

贡献

本文提出了一种级联网络来同时实现无监督血管分割和精确的有监督FAZ分割。在第一步中，我们提出了一个图像变换网络，该网络采用带有一致性损失的风格转移来实现血管分割，而不需要任何人类标签。在第二步中，我们使用上一步的结果和UNet结构来实现最终的FAZ分割，这是一个端到端的整体结构

  • 引入带有风格转移和一致性损失的无监督血管分割以提高FAZ分割精度。
  • 在具有相同参数集的两个不同数据集上提出、训练和评估级联血管和FAZ分割网络，而无需任何后处理。

提出的方法

本文提出的方法整体结构如下图所示：
在这里插入图片描述
作者声称其血管分割部分是一个无监督分割任务，采用了风格转移方法
网络输入：OCTA的投影图
网络输出：1、FAZ分割图 2、血管分割图 3、OCTA重建图

用到的损失函数：
1、风格迁移网络G的损失（Content损失+Style损失）
2、风格迁移网络G的损失（Content损失+Style损失）
3、重建的OCTA图像与原图像的损失
4、Unet生成的FAZ分割图与ground true的损失
在这里插入图片描述
其中，he weights of content loss, style loss, consistency loss, and segmentation loss are set to be 1 × 10−2, 50, 1 × 10−2, 10, respectively.
风格迁移算法：有一个预训练好的网络，不更新权重。还有一个loss 网络，来做训练。

content loss
content loss是把血管分割图和输入的原图放入这个预训练好的网络中，去取出第j层的特征图，把这两个特征图拿来做均方误差损失。
网络G和F的风格损失如下所示：
在这里插入图片描述

在这里插入图片描述
这个地方的Mj的算法引用了另一篇 文章

在这里插入图片描述
在这里插入图片描述
回到这张图，我们重新来梳理一遍本文的思路和逻辑。
1、首先我们有一个原始输入图片OCTA，有它的FAZ手工标签，有一个style图像（不是这个数据集的，不代表这个数据集的血管信息，只提供血管标签的风格）
2、然后我们将OCTA图像送入一个风格转移的网络中，这个网络的最后一层输出是一张图片，我们认为这张图片是血管分割图，用风格图像和content图像来与它做损失进行训练（PS：那为什么作者说这一个过程是无监督的呢？因为监督这个训练过程的是style image和content image，而content image就是输入的原图，style image则是其他数据集的label，并不是当前训练的输入图像对应的血管标签，所以认为这个过程是无监督的），与此同时，我们取出刚刚训练的网络的倒数第二层，他还是32dims的特征图，把它送入unet中训练，输出结果就是FAZ的分割图，直接让它与gt做loss。
3、得到了血管的无监督分割图后，我们再把这个分割图送入另一个风格迁移网络F中训练，在F中，OCTA原图现在是style label，而刚刚生成的血管分割图就是content image
4、F网络生成的OCTA’ ，再让这个OCTA’ 与OCTA做一致性损失

实验

数据集描述

OCTAGON3

包含55对3毫米× 3毫米的表层OCTA图像和形状为320 × 320的FAZ掩模。从10至69岁的18名健康受试者中获得36幅OCTA图像，从19名糖尿病患者中选择19幅图像。使用由专家1标注的groud true

sFAZDA TA

包含来自45名参与者的405张3毫米×3毫米表面OCTA图像，形状为704 × 704。每个参与者有9幅不同亮度和对比度的OCTA图像。

实验指标

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小结

首先这篇文章发表的会议还是很厉害的，文章的创新性很强。虽然用的都是成熟的网络的结合，但是把风格迁移的方法拿过来做分割还是很厉害，而且也利用到了RV（视网膜血管）与FAZ固有先验关系的特点。
不过感觉有的地方讲的不够清楚，得去翻看其参考文献才能更好的理解它

zzzzqwert
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
酞菁掺杂有机改性溶胶-凝胶材料的Z-扫描研究
02-11
利用单光束Z-扫描技术，在波长为1.064 μm，脉宽为38 ps条件下研究了1,2,8,9,15,16,23,24-八异戊氧基钯酞菁(octa-PdPc)掺杂有机改性溶胶-凝胶材料的三阶光学非线性光学性质。测得它的非线性折射率n2和三阶光学非线性极化系数χ(3)的实部分别为1.1×10-12 esu和1.6×10-13 esu。对此进行了分析和讨论。
【深度学习】【U-net】医学图像(血管)分割实验记录
qq_40690815的博客
04-08 3063
医学图像分割实验记录U-net介绍数据集实验记录实验1 本项目仅用于大创实验，使用pytorch编程，参考价值有限 U-net介绍 这里先行挖个坑，以后专门写一篇自己总结的资源吧。 数据集 使用hx医院提供的脑CT图像，原图像为医学图像数据（数据范围较大）。使用ITK−SNAPITK-SNAPITK−SNAP软件自行标注后得到的标记数据做标签。 切片显示大致长这样： TODO:由于本人认为血...
医学图像视网膜血管分割综述
haerxiluo的博客
07-02 2639
每年，世界各地都有许多人因不同类型的眼病而失明。一般来说，全世界约有22亿人患有眼睛和视力问题。眼科疾病治疗的主要问题之一是在早期阶段发现疾病。有些人不容易接触到眼科医生。此外，有些人因为各种原因拒绝每年进行眼科检查。另一方面，从视网膜图像诊断眼部疾病是一项耗时、困难的任务，并且它会受到不同专家意见的影响。因此，需要一种智能系统，其自动从原始眼底图像中提取视网膜血管并将其提供给专家进行诊断和治疗。使用视网膜血管的图像来识别各种疾病，包括年龄相关性黄斑变性、糖尿病视网膜病变（DR）、心血管和青光眼。
segPLEX:PLEX Elite 9000 视网膜 B 扫描分割和 ETDRS 网格-matlab开发
05-31
该算法设计为在执行'convertPLEX'（ https://github.com/cnzakimuena/convertPLEX ）之后执行。 与“convertPLEX”类似，包含所有文件（例如“SamplePatient_01”、“SamplePatient_02”等）的所有先前预处理的文件夹应插入到“预处理”文件夹中，该文件夹应位于当前目录内（示例输入数据集： https://www.kaggle.com/cnzakimuena/retinal-oct-and-octa-data-4 ）。 提供了 PLEX Elite 9000 视网膜 B 扫描（尺寸 3mm x 3mm）视网膜-玻璃体界面 (RVI)、顶部和底部视网膜色素上皮 (RPE) 和布鲁赫膜 (BM) 的分割。 有两种图像分割算法。 第一个包括使用 A 扫描梯度的横截面预分割和 Dijkstra 最短路径算法的实现
u-net眼底图像血管分割keras，kaggle竞赛代码修改版
10-19
修改后，输入图像可以是任何大小要求jpg格式，如果不是要修改resize文件，需要基于keras（这个很好装的），图像放入指定文件，然后运行就可以了，输出在test里面，输出图像改为输出血管结果图像，且只能应用于测试，亲测对一般眼底图像数据库分割效果都很好。有问题或不能运行戳我。
视网膜正常oct图_佳能双多模OCT影像赏析—正常OCT&OCTA图像
weixin_39958911的博客
01-07 4528
佳能双多模OCT影像赏析—正常OCT&OCTA图像光学相干断层成像术(optical coherence tomography，OCT)是指对眼透光组织做断层成像，分辨率高，成像速度快，主要用于眼底检查及记录，能非侵入性的对活体人眼内部结构进行可视化观察。光学相干断层扫描血管成像OCTA(Optical Coherence Tomography Angiography)是一种非侵...
LTGNet-超分辨率OCTA图像分割
qq_45981086的博客
09-11 320
研究背景：光学相干断层血管成像(OCTA)是一种新的视网膜微血管成像方式，已广泛应用于临床。高分辨率OCT血管造影对于定性和定量地准确识别不同视网膜疾病的潜在生物标志物非常重要。问题：OCTA的一个重要问题是在给定固定采集时间的情况下，增加视场时不可避免地会导致分辨率下降。主要工作：为了解决这个问题，我们提出了一种新的基于参考区域的RefSR(超分辨率)框架，以保持OCT血管成像的分辨率，同时增加扫描面积。具体来说，来自正常超分辨率血管的纹理被用来训练一个可学习的纹理生成器(LTG)
OCTA数据集的交叉验证划分为训练集和测试机
xiashaoyan1的专栏
03-08 431
OCTA数据集的交叉验证划分为训练集和测试机
基于深度学习的检测和阶段分级优化糖尿病视网膜病变的诊断
charles_zhang_的博客
05-16 2749
基于深度学习的检测和阶段分级优化糖尿病视网膜病变的诊断 Deep learning‐based detection and stage grading for optimising diagnosis of diabetic retinopathy Abstract **Aims:**建立一种自动化方法，使用基于深度学习的病变检测和分期，识别可参考的糖尿病视网膜病变（DR），定义为中度非增殖性DR及以上。 Materials and Methods:一组12252张符合条件的糖尿病患者眼底图像由45名持证眼
机器学习_深度学习毕设题目汇总——视网膜
MetaGrad的博客
02-09 1518
下面是该类的一些题目： 题目 基于生成对抗网络的视网膜影像分析研究 基于背景重构的眼底视网膜图像的异常区域检测 基于CNN的视网膜OCT图像水肿区域分割 基于OCT图像的视网膜疾病分类方法研究 基于图像语义分割的视网膜血管医学影像分割研究 基于多尺度注意力网络的视网膜血管分割算法 基于有监督学习的眼底视网膜血管分割方法的研究 基于浅层神经网络的糖尿病性视网膜病变图像分类问题研究 基于深度学习的眼底视网膜血管分割方法 基于深度学习的糖尿病性视网膜图像分类研究
血管分割的STARE数据集
01-13
视网膜眼底血管分割的STARE数据集，可作为深度学习的训练集。
OCTA-Net-OCTA-Vessel-Segmentation-Network
05-03
OCTA-Net：OCTA图像中的血管分割的两阶段框架 | 玫瑰：视网膜OCT-血管造影血管分割数据集和新模型。 ，，，，，，，，和益田赵。 执照 版权所有。 所发布的代码和数据仅供学术研究使用。 对于商业用途，请联系[email protected] 。 浓缩摘要 光学相干断层扫描血管造影（OCTA）是一种非侵入性成像技术，已越来越多地用于以毛细管水平的分辨率对视网膜脉管系统进行成像。 但是，由于OCTA的视网膜血管自动分割技术由于其在理解许多与视觉有关的疾病方面具有重要意义，但由于诸如毛细血管可见度低和血管复杂性高等诸多挑战，目前尚未得到充分研究。 此外，还没有公开可用的OCTA数据集，该数据集带有手动分级的容器用于训练和验证分割算法。 为了解决这些问题，我们首次在视网膜图像分析领域中构建了一个专用的视网膜OCTA分割数据集（ROSE），该数据集由229个OCTA
OCRA:用于OCT血管造影图像的自动非灌注脉络膜毛细血管面积计算器-matlab开发
05-28
OCRA：非灌注脉络膜毛细血管面积计算器 对于稳定版本（OCRA 1.46）： https : //github.com/erdosty/OCRA/releases/tag/1.46 对于最新版本（OCRA 1.60）： https : //github.com/erdosty/OCRA/releases/tag/1.60 在1.46版中，使用高斯和最大熵阈值进行自动流空测量。 在1.60版中，脉管毛细血管空隙用Phansalkar阈值法测量，这是Sauvola阈值法的改进，以处理低对比度图像。 OCRA是根据OCT血管造影图像自动计算非灌注脉络膜毛细血管面积的应用程序。 OCRA使用外部视网膜面部OCT，浅神经丛，脉络膜毛细血管瘤，外部视网膜的外部视网膜面部结构OCT血管造影图像的面部OCTA图像来计算非灌注脉络膜毛细血管区域。 OCRA使用最大熵，高斯，Phansalkar和
小鼠视网膜SLO图像和OCTA体积拼接matlab代码.zip
最新发布
03-31
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程...
使用tensorflow 遇到InvalidArgumentError: assertion failed: [0] [Op:Assert] name: EagerVariableNameReuse
qq_41699508的博客
08-21 4558
今天安装的tensorflow，使用时报错 InvalidArgumentError: assertion failed: [0] [Op:Assert] name: EagerVariableNameReuse 禁止gpu后，报错消失 网上说是因为有其他的tensorflow程序占用了gpu，但是没找到占用的程序。 将tensorflow2.3删除，重新安装tensorflow2.1，报错没了，一切使用正常 应该是兼容问题吧。 ...
ITK-SNAP读取nii.gz文件失败
qq_41699508的博客
11-12 2825
如图所示，无法读取该文件。出现这样的错误常常是因为文件路径中出现了中文，向上检测文件的存储路径有没有中文。
SVS-net 一种新的光学相干断层成像血管图像语义分割网络 阅读笔记
qq_41699508的博客
07-04 387
文章目录文章链接要解决的问题贡献具体细节网络结构实验结果我的思考 文章链接 https://arxiv.org/abs/2104.07083 要解决的问题 在OCTA数据集中，散斑噪声很常见，在大面积非灌注区域尤为突出，它可能会干扰视网膜血管系统的正确评估。 用机器软件将视网膜血管分成4层后的效果如下图所示： a浅表血管丛, b深层血管丛, c外层视网膜, d绒毛膜毛细血管 这幅图说明了该工作的价值，A代表输入图像，B代表机器自动分割的图像，C代表作者提出的网络的分割图像。从A中可以看出，输入图像含有较
windows10环境下带你一步一步安装tensorflow2.1（GPU）
qq_41699508的博客
08-21 344
### 笔者软硬件环境说明： 操作系统：win10 cpu: i5-6300hq gpu：gtx950m ### 用到的软件： 1、anaconda 2、cudatoolkit 3、cudnn 4、tensorflow 5、pycharm ### 预先准备 先去查看显卡的驱动版本： 1.进入显卡控制面板 2.依次点击帮助--系统信息--组件 如图所示，我的显卡支持cuda 11 这里后续要用的是cuda10，请保证显卡支持，如果支持的不到cuda10，比如这里显示cuda 9，去
Octa ARM Mali-G78AE是什么意思
11-30
很抱歉，根据您提供的引用内容，我没有找到Octa ARM Mali-G78AE的相关信息。但是，我可以为您介绍一下Arm Cortex-A78和Arm Mali-G610 MC6的相关信息。 Arm Cortex-A78是一种高性能的CPU核心，采用了Arm的最新技术，包括8个核心和高达2.85GHz的主频。它是Arm的第一款基于5nm工艺的CPU核心，具有更高的性能和更低的功耗。 Arm Mali-G610 MC6是一种高性能的GPU，采用了Arm的最新技术，包括6个核心。它可以提供高帧率和持久畅玩的游戏体验，是一款非常适合游戏玩家的GPU。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值