医学图像:一眼诊全身
文章平均质量分 94
1
Debroon
万象禅心(这辈子只搞AI+WEB3.0),闲下写点(AI技术,医学影像,医学大模型 & 人性关系底层逻辑,狼性佛心团队建设,引流霸榜营销演说)。
展开
-
【千亿生意】一张眼底图,浮现你未来十年身体1000多种疾病风险
这项研究是回顾性的,其任务是通过巩膜图像的AI分析来识别PCOS,输出是二元的(即患病/未患病),并且在模型的外部验证中获得了0.979的AUC(曲线下面积)值,这表明模型在识别PCOS方面具有很高的准确性。这项研究是前瞻性的,旨在通过分析结膜图像来识别贫血,其输出结果是二元的(即诊断为贫血或非贫血),并且模型在验证中达到了0.93的AUC(曲线下面积)值,这个值很高,意味着模型在贫血诊断方面的性能很好。在AI医疗方面,百度、腾讯、阿里等互联网大厂也做的很好,在数据、算法、算力层面都有限制,竞争大。原创 2024-01-29 22:17:19 · 1497 阅读 · 0 评论 -
【大而全 被震惊到了】12个类别、100多万张视网膜数据集
图像可读性的更广泛的完整注释范围指的是,SynFundus-1M数据集不仅标注了眼底图像是否包含特定的疾病,还细致地标注了图像中不同区域的清晰度和可用性,这对于自动分析和医学研究来说至关重要。利用SynFundus-Generator,我们生成了超过一百万张合成眼底图像的集合,称为SynFundus-1M数据集,包含15种类型的注释(11种疾病标签和4种图像可读性标签)。广泛的实验表明,即使是经验丰富的标注者也难以将我们的合成图像与真实图像区分开来,合成的疾病相关视觉特征也无法与真实的区分。原创 2024-03-30 00:30:50 · 769 阅读 · 1 评论 -
眼底 Fundus、OCT 图竞赛分析
ResNet(残差网络)是一种深度卷积神经网络(CNN),最初由微软研究院的研究人员在2015年提出。ResNet的关键创新是引入了所谓的“残差块”,这些残差块允许信息通过网络的跨层连接直接传递,帮助解决了更深层网络中的梯度消失和梯度爆炸问题,使得网络可以通过增加更多的层来提高准确性,而不会降低训练效率。原创 2024-03-26 09:58:31 · 862 阅读 · 0 评论 -
CycleGAN-Turbo:CycleGAN结合扩散模型,一步图像到图像转换方法
结合了CycleGAN的非成对图像翻译概念和Diffusion模型的强大生成能力,创造了CycleGAN-Turbo和Pix2Pix-Turbo这两个新模型。在本文中,作者团队解决了条件扩散模型存在的两个问题:推理速度慢和对成对数据的依赖。他们通过引入单步扩散模型来适应新任务和领域的方法,成功地整合了传统的CycleGAN和pix2pix模型的优点到扩散模型框架中。这不仅提升了推理速度,还允许在无需成对数据的情况下进行训练。原创 2024-03-23 14:13:44 · 1202 阅读 · 0 评论 -
VPTTA:为每张医疗图像生成特定的“提示”,解决跨不同设备和条件的医疗图像分割的准确性和适应性
这张图比较了三种不同的方法,它们都试图解决如何让一个用于分析医疗图像的电脑程序(比如分割脑部扫描图)适应不同医院或设备拍摄的图像,即便这些图像在外观上因为设备或拍摄方式不同而有所变化。在现实世界中部署医疗图像处理的语义分割模型时,不同医疗中心拍摄的图像在外观上会有所不同(这称为分布偏移),这使得原本在一组数据上训练好的模型在新数据上的性能下降。当医疗图像来自不同的医疗中心时,图像的外观可能会有所不同,这使得自动识别系统难以准确地识别图像中的特定部分(比如眼底图像中的视盘和视杯)。原创 2024-03-17 18:44:26 · 545 阅读 · 0 评论 -
nnDetection:做医学图像检测的任何人,都必须要会使用 nnDetection
调整数据预处理流程以适应视网膜图像的特点,如调整图像亮度和对比度,使病变特征更明显。原创 2024-02-27 13:44:36 · 1039 阅读 · 0 评论 -
早产儿视网膜病变分期,自动化+半监督(无需大量医生标注数据)
之所以采用预测一致性损失和语义结构一致性损失,是因为ROP的不同阶段之间存在一定的语义相关性,这种相关性可以被模型利用来提升分类性能,尤其是在标签数据有限的情况下。解法:构建一个半监督深度学习分类模型,该模型结合了学生模型与教师模型,通过标记数据的监督损失和未标记数据的一致性损失进行优化。教师模型作为一个参考,通过EMA平滑学生模型的预测,而一致性损失确保学生模型可以在没有标签的数据上进行鲁棒的学习。:构建两个模型,学生模型用于学习和预测,教师模型用于生成稳定的目标输出,指导学生模型学习。原创 2024-02-27 09:29:29 · 823 阅读 · 1 评论 -
RAM-DSIR:眼底和前列腺图像泛化能力增强,免除不同的扫描仪、成像协议和操作者等多种因素差异,影响学习效果
性能差异的意义在于,通过使用语义一致性训练策略,模型能够更好地学习如何处理来自不同来源的图像,即便这些图像在外观上有所不同(比如由于不同的成像设备或成像条件造成的差异),模型依然能够准确识别出图像中的结构,这对于实际临床应用是非常重要的。通过这种方法,即使是在不同设备上获取的眼底图像,模型也能够更好地泛化和适应,从而在实际的医疗环境中提供更准确的分割结果。:对收集的眼底图像应用RAM模块,通过傅立叶变换提取振幅信息,并结合来自不同设备的图像的振幅,生成新的合成图像。原创 2024-02-25 11:10:20 · 608 阅读 · 3 评论 -
【YOLO v5 v7 v8 v9小目标改进】高斯函数 Wasserstein 距离损失:新的相似度度量方法,解决微小物体的IoU对齐
尽管这个位置偏差导致基于IoU的方法将检测框判定为低质量匹配,但通过计算这两个高斯分布之间的NWD,我们可以得出这两个框实际上是非常相似的,因为Wasserstein距离能够捕捉到它们作为分布的整体形状和位置的相似性,而不仅仅是它们的直接重叠区域。例如,对于一个6×6像素的微小人物,原本与真实框有一定重叠的检测框,仅因轻微的位置移动就可能从IoU为0.53下降到0.06,这样的变化会误导模型认为检测框与真实框不匹配,从而将其判定为负样本,导致正确的检测被错误地抑制。原创 2024-02-24 15:20:22 · 1048 阅读 · 5 评论 -
【风格迁移】CAST:对比学习,从图像特征而非其二阶统计量(Gram矩阵)中学习风格
开始于风格特征的精确提取(多层风格投影器),接着通过(领域增强模块)对这些特征进行分析和增强,最后通过(生成网络)实现风格的应用和转换。面对任意图像风格转换的问题,错误的认知是仅仅依赖于传统的深度学习方法和二阶统计量(如Gram矩阵)足以实现高质量的风格迁移。在这一步,全面的视觉特征和对比学习共同作用,确保最终图像既保留了原图的结构,又成功捕捉了目标风格的精髓。:最后,利用优化后的风格表示,生成网络将《星夜》的风格应用到原始照片上,生成最终的风格迁移图像。: 最终,我们希望达到什么目标或状态?原创 2024-02-24 10:17:45 · 1360 阅读 · 0 评论 -
【YOLO v5 v7 v8 v9 小目标改进】SPD-Conv:解决步长卷积和池化层导致的细粒度信息丢失
在添加 SPD-Conv 代码"""这个模块实现了空间到深度的操作,它重新排列空间数据块到深度维度,通过块大小增加通道数并减少空间维度。在卷积神经网络中常用此方法保持下采样图像的高分辨率信息。""""""初始化 SpaceToDepth 模块。参数:block_size (int): 每个块的大小。它定义了空间维度的下采样因子。输出通道的数量将增加 block_size**2 倍。"""self.block_size = block_size # 块大小"""原创 2024-02-23 17:35:17 · 1995 阅读 · 18 评论 -
零样本带解释性的医学大模型
在左边的脑部MRI图像中,除了疾病类别,还加入了由ChatGPT提供的额外病症信息,如“Presence of contrast enhancement”(对比度增强的存在)和“Presence of necrosis”(坏死的存在)。开始可能是一个简单的提示,如“描述肺炎的X射线图像特点”,然后根据生成的描述的质量,我们可能会添加更多具体性,如“描述细菌性肺炎在X射线图像上的表现”。在结合了这些额外信息后,生成的注意力图显示模型现在更集中地关注在图像的特定区域上,这可能对于诊断该类型的脑肿瘤是关键的。原创 2024-02-23 10:46:03 · 1245 阅读 · 0 评论 -
糖尿病性视网膜病变(DR)的自动化检测和分期
自动化检测和分类糖尿病性视网膜病变 ---- 糖尿病性视网膜病变(DR)检测系统的主要目标是自动化地识别和分类眼底图像中的各种病变,从而帮助及早诊断和治疗。解法:多模型集成分析系统。原创 2024-02-22 22:26:56 · 1396 阅读 · 0 评论 -
【超高效!保护隐私的新方法】针对图像到图像(l2l)生成模型遗忘学习:超高效且不需要重新训练就能从生成模型中移除特定数据
背景: 需要一个清晰的目标,以量化模型遗忘特定数据的效果。解法: 使用KL散度和互信息(MI)作为度量,定义了一个目标函数来量化遗忘的效果。例子: 在遗忘算法的效果评估中,可以通过比较遗忘前后模型生成的图像与原图的KL散度来量化遗忘的程度。在这个解法中,使用KL散度和互信息(MI)来定义一个目标函数,旨在量化模型遗忘特定数据的效果。KL散度衡量两个概率分布之间的差异,而互信息量化两个变量间的相互依赖性。这些指标结合起来能够给出模型遗忘效果的量化评估。原创 2024-02-09 17:08:43 · 1134 阅读 · 0 评论 -
Pix2Pix 使用指南:一副图像到另一副图像的转换
Pix2Pix 的性质是图像转换。图像转换,指从一副图像到另一副图像的转换。可以类比机器翻译,一种语言转换为另一种语言。这个转换过程是通过建立一个模型,利用生成对抗网络(GANs)的算法,大量的成对图像数据,如简笔画和真实照片,将输入的简笔画转换成逼真的照片。原创 2023-11-24 16:44:14 · 1442 阅读 · 0 评论 -
RegGAN:打破医学图像转换困境 --- 数据未对齐、噪声干扰和未配对图像
比如,我们有一组CT图像和相应的MRI图像,但这些图像由于患者在不同时间被不同设备扫描,因此它们之间存在未对齐的问题。通过在生成器后面加入 配准网络R 来纠正这种未对齐,使得即便是在噪声影响下也能进行有效的图像到图像的转换。这样,无论原始数据的对齐质量如何,RegGAN最终都能产生高质量的、空间上对齐的输出图像。配准网络将学习必要的空间变换,自动调整生成的图像以匹配目标图像,从而克服了未对齐的问题。三、RegGAN 允许输入的图像对,是对齐或者未对齐的。相反,我们将这些未对齐的图像对输入到RegGAN。原创 2024-01-26 16:37:08 · 885 阅读 · 0 评论 -
扩散视觉反事实算法 DVC:对抗性鲁棒分类器 + 扩散模型,跨模态对比原始的 fundus 图 VS 生成的 OCT 图
问题: 如何生成视网膜底片和OCT图像的现实反事实图像?解法: 使用 扩散模型 结合 对抗性鲁棒分类器 生成。为什么使用扩散模型: 扩散模型能够生成高质量、现实感强的图像,适用于处理复杂的医学影像数据。为什么使用对抗性鲁棒分类器: 这些分类器通过对抗性攻击的训练,能产生与特定类别特征对齐的强大梯度,有助于引导扩散模型生成具有目标类别特征的图像。高质量图像生成: 扩散模型提供了生成逼真图像的能力。现实感强的视觉输出: 扩散模型在去除加入的噪声的过程中维持图像的现实感。疾病特征的准确描绘。原创 2024-01-27 10:24:39 · 917 阅读 · 0 评论 -
布朗桥扩散模型 BBDM:全网最强图像转换算法,完胜 GAN、扩散模型
这些方法,尤其是基于GAN(生成对抗网络)的方法,虽然在图像质量上表现出色,但训练难度大,容易丢失输出分布的模式,并且在多样性上受限,因为它们通常将任务建模为一对一的映射。布朗桥模型在理论上提供了一种新的框架,确保了图像转换过程的连贯性和目标一致性,因为它通过在两端锚定过程来构建一个桥梁,这可以提供一个更稳定和有效的图像到图像转换过程。这种方法的目的是为了在图像到图像的转换中提供更好的泛化能力和稳定性,因为潜在空间的布朗桥过程提供了一个稳定和理论上保证的方式来指导图像的转换。原创 2024-01-25 23:26:45 · 1490 阅读 · 0 评论 -
TarGAN:医学图像高保真度模态转换,专为成像不佳设计
(图a):生成器G的结构,它包括两个编码器(Encoder_s, Encoder_t)和两个解码器(Decoder_x, Decoder_r),以及一个共享模块(Shared Block)。:传统多模态医学图像转换通常,在生成高质量图像方面存在问题,特别是在关键目标区域或兴趣区域(ROI)如特定器官等。生成器接收源模态图像xs和对应的目标区域图像rs,这两个输入通过深度级联(Depth-wise concatenation)与目标模态标签t结合。共享块使得生成器能够在转换整体图像的同时也专注于目标区域。原创 2024-01-25 17:30:05 · 1104 阅读 · 1 评论 -
Dynamic-Pix2Pix:改进 Pix2Pix 在有限的训练数据下性能问题
Dynamic-Pix2Pix 模型旨在解决有限训练数据下的图像分割问题。子问题1:如何提高模型在有限标记数据上的学习效率和性能?子解法1:引入噪声瓶颈(Noise bottleneck)。之所以使用噪声瓶颈,是因为这可以在不过度依赖有限训练数据的情况下,帮助模型学习目标分布的潜在特征。子问题2:如何使模型能够同时学习图像的真实特征和噪声的随机性?子解法2:采用双输入路径(Dual input paths),分别处理图像和噪声。原创 2024-01-27 08:40:56 · 1152 阅读 · 0 评论 -
医学图像跨模态转换:配准方法生成对图 + 扩散模型 + 成对配对方法
2D配对方法(Pix2Pix, DDIM图像模式, DDIM噪声模式)和非配对方法(CUT, SynDiff),发现配对的图像转换方法(有直接对应关系),在将 MRI 转换为 CT 时更为有效。整体来看,这张图为读者提供了一个数据处理流程的概览,从数据收集到最终的模型测试阶段,包括了各个阶段的详细信息和数据处理的决策点。例如,对于视网膜中的特定层面或特征,如视网膜血管和视盘的位置,在两种图像类型之间可能需要精确的局部对齐。:由于眼底图像和OCT图像的空间关系复杂,可能需要在局部进行细微的调整来精确配准。原创 2024-01-25 15:14:26 · 1895 阅读 · 0 评论 -
眼底增强型疾病感知蒸馏模型 FDDM:无需配对,fundus 指导 OCT 分类
FDDM 的逻辑关系可以拆解成两个主要的子问题。原创 2024-01-27 13:25:18 · 827 阅读 · 0 评论 -
【前列腺数据增强】基于解剖学的变形方法
基于解剖学的变形方法用于提高前列腺癌(PCa)诊断的准确性。子问题1:如何在AI模型训练中提高病变检测的灵敏度?子解决方案1:解剖学信息引导的数据增强(anatomy-informed augmentation)。模型需要学习解剖学上的变化,以提高对实际生理条件下病变的识别能力。提高AI模型对PCa病变的检测性能,使之接近放射科医生的水平。子问题2:如何保证数据增强不会导致不真实的图像变形?子解决方案2:模拟真实器官变形的轻量级数学模型。保持图像特征的本质不变是提高模型训练质量的关键。原创 2024-01-29 15:45:53 · 835 阅读 · 0 评论 -
【24 年医学顶刊】窗口归一化技术,解决医学图像不同仪器成像差异,提升训练集外的泛化能力
子解法1: 局部统计计算原因: 传统归一化技术往往采用全局统计量,可能忽略了图像中的局部特征差异,这在医学图像中尤为重要,因为它们通常包含具有关键诊断信息的细微局部特征。原创 2024-02-03 12:05:01 · 884 阅读 · 0 评论 -
Pix2Pix-Zero:预训练扩散模型 + 潜在空间编辑预处理,零样本的图像到图像转换
这是pix2pix-zero中的一个核心步骤,它涉及自动生成描述性文本的嵌入,计算其变化方向,并将这个方向应用于图像编辑过程,同时通过交叉注意力图来保证编辑操作不破坏图像的原始结构。:在编辑图像时保留原始结构,同时引入用户指定的显著变化。所以,通过这个预处理步骤,模型就有了一个明确的目标和方向,这在后续的图像编辑过程中是至关重要的,因为它有助于模型做出更加精确的编辑决策。:这个描述性的文本提示成为了编辑过程的起点,它告诉编辑模型:“我们的目标是改变图像中的这只猫,但保持沙发和其他元素不变。原创 2024-01-25 13:25:46 · 944 阅读 · 0 评论 -
【局部自动数据增强】YOCO:传统增强在图像级,忽略局部级
所以,用YOCO的方式做数据增强,就像做了一道口味丰富,层次分明的大餐,让电脑在识别图片的时候,不仅能看到表面,还能品味到每一小块带来的不同信息,这样学到的就更全面,处理问题的能力也就更强了。YOCO作为一种新的数据增强方法,它的目的是通过在图像的不同部分独立进行增强来提高数据的多样性,这对于提高模型在识别部分信息时的性能特别有用。上方的例子显示了YOCO应用于“颜色抖动(Color jitter)”增强的结果,两个部分都进行了增强,生成了一个多样化的完全增强后的图像。原创 2024-01-29 13:34:50 · 1653 阅读 · 0 评论 -
StyleGAN 使用指南:生成更逼真的图片
因为AdaIN层是归一化操作(缩放 + 偏移),通道是独立的(每个通道的特征图,其归一化系数是独立计算的,不受其他通道的影响),所以每个AdaIN层都需要俩个系数,分别对应缩放、偏移。映射网络的任务就是像解码器一样工作,它将这个复杂的、高度纠缠的信号转换成一个新的、更加有序的中间潜在空间,即风格空间,其中的每个维度尽可能地表示独立的图像特征。拼接的特征向量的每个位置的特征来自于不同的人的人脸。这样的混合可以确保在新的特征向量中,每个位置的特征来自于不同的人的人脸,从而避免了相邻特征之间的耦合。原创 2023-11-27 14:18:29 · 1304 阅读 · 0 评论 -
【解决视网膜长尾数据】实例级类平衡、层次预训练、混合知识蒸馏
例如,Retina-100K数据集有75,714个训练样本,9,335个验证样本,9,477个测试样本,共53个类别,不平衡比例是828.56,标签基数是1.3439,标签密度是0.0038。如果一个样本可能同时包含多种视网膜疾病的标签,例如糖尿病视网膜病变和黄斑变性,那么通过计算标签基数和标签密度,可以量化每个样本的标签数量和整个数据集中标签的分布情况。假设我们有一个大型的视网膜疾病数据集,其中某些疾病(如糖尿病视网膜病变)的样本数量非常多,而其他疾病(如遗传性视网膜病变)的样本数量非常少。原创 2024-01-30 21:26:30 · 1040 阅读 · 0 评论 -
【医学大模型 眼科视觉】 LOSAM:视觉大模型SAM + 眼科
子问题1:多模态图像的分割不一致性子解法1:可学习提示层(Learnable Prompt Layer)多模态图像(如彩色眼底和OCTA图像)具有不同的成像特征,标准模型可能在一个模态上表现良好,在另一个模态上表现不足。可学习提示层允许模型在每个模态上捕捉和学习特定的特征,从而提高分割的一致性和准确性。在彩色眼底图像中,可学习提示层帮助模型区分了主要血管和次要血管,尽管分割微小血管仍然具有挑战性。原创 2024-02-05 14:27:24 · 973 阅读 · 0 评论 -
Polar-Net:通过 OCTA(光学相干断层扫描血管成像)检测阿尔茨海默病
Polar-Net是一个用于检测阿尔茨海默病(AD)的深度学习模型,它通过分析光学相干断层扫描血管成像(OCTA)图像来工作。这个模型解决了如何从视网膜图像中识别AD的问题,使用了一系列特定的解决方案来提高检测的准确性和可解释性。主问题:如何通过OCTA图像有效地检测阿尔茨海默病?子问题1、子解法1:区域基础分析的模拟解法:极坐标转换为了模拟临床上常用的ETDRS网格分析方法,需要一种能够将OCTA图像的笛卡尔坐标转换为极坐标的方法,因为这种转换能够让模型在圆形网格中进行更自然的区域分析。原创 2024-02-05 22:06:45 · 1101 阅读 · 0 评论 -
【世所罕见】强化学习 + 眼科
例如,在管理老年性黄斑变性或糖尿病性视网膜病变时,算法的目标可能是减少眼底的液体积聚(这可以通过光学相干断层扫描测量得到),或者提高患者的视力。: 在治疗糖尿病视网膜病变的背景下,可能的行动包括是否治疗,如果治疗,使用哪种抗血管内皮生长因子(VEGF)药物,以及何时复查患者。强化学习在这里的角色可以类比于一个高级的游戏辅助工具,它能够在多种可能的手术步骤和策略中选择最优的一种。在眼科的情境中,强化学习算法可以被训练来识别何时进行治疗、选择最适合的药物,以及确定后续随访的时间。原创 2024-02-01 10:30:48 · 638 阅读 · 0 评论 -
【世间罕见】深度学习 + 前段眼科诊断
这在处理前段眼病的成像数据时尤为重要,因为这些数据通常非常复杂,包含大量的细节和变量,DL算法特别适合从这些数据中学习复杂模式。Liu et al. 开发了一种结合CNN和SVM的模型,通过分析角膜图像来高精度识别角膜炎的类型。在这篇文章中,作者使用一系列人工智能(AI)的方法来解决前段眼病的诊断和管理问题。: 如何利用AI提高年龄相关性白内障的诊断、分级和IOL预测的准确性?: 如何在有高度近视和散光的眼睛中提高预测的可靠性?: 如何使用AI提高角膜病变的诊断和治疗效果?原创 2024-02-01 09:25:20 · 1018 阅读 · 0 评论 -
【弥补医生数量和经验不足】通过 fundus 图,同时识别 10 种以上视网膜疾病
通过YOLO定位和CNN深入分析的结合使用,我们不仅能快速找到黄斑区域,还能详细检查这一区域是否健康,就像是先用快速扫描确定目标,然后用详细检查确认情况。确定了黄斑区域之后,就像导游给你一个放大镜一样,一个专门针对黄斑区域的网络模块会对这个区域进行详细的分析,就像用放大镜仔细观察地图上的细节一样。在分类正常与所有眼底图像方面,RAIDS的准确率为83.0%,能正确区分89.3%的任何类型的异常图像。处理过的热图,代表诊断算法正在专注的区域,以检测疾病的迹象或评估视网膜特定部分(如黄斑或视盘)的健康状况。原创 2024-01-31 18:29:59 · 977 阅读 · 0 评论 -
【早期疾病诊断 + 精准预防】通过 fundus 图,预测甲亢
甲状腺功能亢进是一种在全球范围内常见的甲状腺功能失调,会导致严重的健康后果。然而,对一般人群进行甲状腺功能亢进筛查并不是一种成本效益和可行的程序,因为这种病的患病率相对较低,且检查手段有限。据估计,在欧洲人群中(发达国家),也有 1.72% 的人患有甲状腺功能亢进,但是没有被诊断出来。这部分人群实际上有甲状腺功能亢进这一病状,但由于各种原因(比如症状不明显、缺乏医疗资源或知识、没有进行相关检查等),他们的状况并没有被医学界发现或确认。这会导致不良后果和增加成本。因此,需要改进检测甲状腺功能亢进的系统。越来越原创 2024-01-31 17:13:41 · 601 阅读 · 0 评论 -
【早期疾病诊断 + 个性化医疗】通过 fundus 图,预测视网膜年龄
虽然理论上视网膜年龄和一个人的实际年龄(或称为慢性年龄)应该是一致的,但由于遗传因素、生活方式、环境影响和可能的疾病,视网膜的健康状态可能比实际年龄显得更老或更年轻。这意味着,如果亚洲队列中一个40岁的个体的视网膜特征应该与欧洲队列中一个40岁个体的特征相似,序数约束会促使模型学习这种年龄相关的相似性,即使他们来自不同的数据源。例如,如果时间序列显示随着年龄增长,某种特定的视网膜特征变得更为明显,那么即使是在缺乏时间序列的个体中,模型也会学习到这一点,并在单次快照中寻找这些特征的迹象。原创 2024-01-31 09:26:45 · 991 阅读 · 0 评论 -
【解决视网膜长尾数据】关系子集学习、射击法、加权知识蒸馏
论文:https://arxiv.org/pdf/2104.11057.pdf 讨论 3 个关于医学影像分析的挑战,以及相应的解决方案。首先,论文提到的第一个问题是数据中类别分布的不平衡。在很多情况下,一些类别的样本非常多,而其他类别的样本则很少。为了解决这个问题,建议把数据按照一定的先验知识,比如区域或表型信息,分成几个小的类别子集。这样一来,模型就能专注于学习每个子集的特点,从而更有效地处理数据不平衡的问题。 接下来,第二个问题,即多标签的挑战。在医学影像里,一个样本可能同时包含多个疾病的标签,这原创 2024-01-30 12:18:12 · 1091 阅读 · 0 评论 -
YOLO 全面回顾:从最初的YOLOv1到最新的YOLOv8、YOLO-NAS,以及整合了 Transformers 的 YOLO
YOLOv1是一个革命性的对象检测模型,它以其速度和效率在计算机视觉领域引起了轰动。这种方法允许YOLOv2根据网格单元的位置动态调整边界框的尺寸,同时通过锚点框处理各种形状和大小的对象,在提高模型的灵活性和准确性方面是很重要的。通过这些改进,YOLOv2不仅在处理各种尺寸和比例的对象方面更加灵活,而且还提高了整体的检测精度,尤其是在复杂场景和高分辨率图像中的表现。在预测时,每个网格单元可以使用这些锚点框来预测对象的位置和尺寸,而每个锚点框都有一个预测值集合,包括边界框的中心、宽度、高度和对象类别。原创 2024-01-28 13:16:43 · 1243 阅读 · 0 评论 -
【医学图像数据增强】 EMIT-Diff:扩散模型 + 文本和结构引导,生成多样化且结构准确的医学图像
预训练包含1.35 百万张 的 MRI(磁共振成像)的髋关节正常图像、CT(计算机断层扫描)的腹部正常图像、MRI 的踝关节带骨折的图像、MRI 的正常脑部图像、超声波的甲状腺图像以及 MRI 的带有椎间盘病理的脊柱图像。扩散模型,生成既真实又多样的合成医学图像数据,同时保留原始医学图像的关键特征,并通过融入对象的边缘信息来指导合成过程。这些图像是由扩散模型根据原始图像和边缘图像生成的,旨在展示扩散模型可以如何生成各种不同类型的医学图像。作为模型生成图像时的一个条件输入,帮助模型理解图像中的主要结构。原创 2024-01-24 13:15:24 · 1512 阅读 · 0 评论 -
【医学图像隐私保护】PLAN方法:解决 GAN 生成医学图像 Latent 空间中的隐私保护
在实际应用中,我们可能会使用一个k-same方法来产生一些合成的视网膜底片图像,然后利用PLAN在这些样本之间的潜在空间进行导航,以增加数据集的大小,同时保留隐私保护。:通过优化的轨迹,我们可以在潜在空间中安全地移动,生成新的合成视网膜底片图像,这些图像既不会揭露个人身份,也包含了临床上有意义的特征,使其适合于如疾病诊断这样的下游任务。:将这k组样本在潜在空间中聚合,生成一个合成样本。最近的研究通过在潜在空间中聚合样本来解决这个问题,是受到k-匿名原则的启发,但这样做的缺点是将数据集的大小减少了k倍。原创 2024-01-22 19:56:55 · 1119 阅读 · 1 评论 -
【医学图像隐私保护】联邦学习:密码学 + 机器学习 + 分布式 实现隐私计算,破解医学界数据孤岛的长期难题
由于每个医院的患者构成可能不同,这意味着每个医院训练出的模型会稍有不同,反映了它们各自独特的患者数据特征。这联邦学习呢,就是让不同的地方一起弄一个学习的模型,但重要的是,大家的数据都是自己家的,不用给别人。每个医院使用自己的患者数据本地训练模型,然后将模型的更新(而不是敏感的患者数据)分享给其他医院。因此,联邦学习解决了数据孤岛问题,提高了诊断模型的准确性和可靠性,同时保障了患者数据的隐私安全。通过这种方式,联邦学习允许每个医院贡献它们的专业知识和数据见解,同时保护患者数据的隐私。原创 2024-01-22 17:30:34 · 3889 阅读 · 1 评论