非模型优化
文章平均质量分 81
设计dropout 批处理,底层等论文
小杨小杨1
这个作者很懒,什么都没留下…
展开
-
利用同时预测节点和边的图神经网络 实现鲁棒的椎骨识别
该论文指出,在CT扫描中自动定位和识别椎骨对于众多临床应用很重要。现有方法大多集中在椎骨的位置定位,忽略了其方向信息。同时,这些方法通常在管道中使用启发式方法,在包含异常信息的实际临床图像中可能表现不太鲁棒。作者提出了一种简单的管道方法,首先使用U-Net进行标准预测,然后采用单一的图神经网络来关联和分类椎骨,并预测其完整的方向信息。为了测试该方法,作者引入了一个新的椎骨数据集,其中包含与椎骨主体相关联的椎弓根检测,形成了一个更具挑战性的地标预测、关联和分类任务。原创 2024-06-06 09:14:55 · 349 阅读 · 0 评论 -
利用弛豫-扩散谱成像探测组织微结构
大脑组织的微结构特征由于扩散性和横向弛豫速率的异质性而表现出差异。与仅提供扩散信息的标准单回波时间(TE)弥散MRI不同,弛豫-扩散MRI涉及多个TE和多个弥散加权强度,可探测组织特定的弛豫-扩散耦合特性。本研究提出了一种弛豫-扩散模型,可以表征在不同弥散长度尺度下的组织表观弛豫系数,同时消除了体素内定向异质性的影响。代码地址。原创 2024-06-03 09:36:20 · 592 阅读 · 0 评论 -
Dice Semimetric Losses: Optimizing the Dice Score with Soft Labels
Soft Dice Loss(SDL)在医学图像领域的许多自动分割中发挥了关键作用。在过去的几年中,人们已经发现了其优越性能背后的一些原因,并进一步探索了进一步的优化。然而,目前尚无实现支持其直接在涉及软标签的情景中使用。因此,在使用SDL和利用软标签的研究之间仍然缺乏协同作用,尤其是在模型校准的背景下。这项工作引入了Dice半度量损失(DMLs)(i)在标准设置中与硬标签相同设计,但(ii)可以在具有软标签的设置中使用。代码地址。原创 2024-05-08 10:05:45 · 286 阅读 · 0 评论 -
Boundary-Weighted Logit Consistency Improves Calibration of Segmentation Networks
提出了一种新的正则化方法,利用随机变换中的logit一致性来防止在具有模糊标签的像素处产生过度自信的预测。该方法的边界加权扩展进一步提高了分割的准确性。实验结果表明,该方法在前列腺和心脏 MRI 分割中取得了最先进的校准效果,显著改善了预测的准确性和稳定性。研究结果表明,利用随机变换中的logit一致性作为正则化器,结合边界加权扩展,可以有效提高神经网络在图像分割任务中的校准效果,特别适用于医学图像分割领域。代码地址。原创 2024-05-07 09:58:46 · 666 阅读 · 0 评论 -
不固定属性分组的减轻校准偏差以改善医学成像分析中的公平性
这项工作专注于解决医学图像分析中的校准偏差问题。提出了一种新颖的两阶段方法:Cluster-Focal,首先识别出校准不佳的样本,将它们聚类成组,并引入组内焦点损失来改善校准偏差。评估了该方法在皮肤病变分类和预测多发性硬化症(MS)患者未来病变活动方面的效果。结果表明,该方法能够有效控制最差表现子群中的校准误差,同时保持预测性能,并且优于最近的基线模型。原创 2024-05-02 20:43:07 · 19 阅读 · 0 评论 -
“TauFlowNet:通过神经传输方程揭示Tau聚集物的传播机制“论文速读
问题背景阿尔茨海默病(AD)以类似朊样物质的方式在大脑中传播Tau聚集物为特征。对广泛的Tau聚集物的时空传播模式进行了分析,但研究侧重于焦点模式的变化,而非系统级理解。研究构想将细胞间Tau病理传播视为动态系统,大脑区域与其他节点相连,同时与病理负担积累相互作用。制定基于势能传输模型的Tau传播生物过程,允许从纵向Tau-PET图像中揭示Tau传播的时空动态。方法介绍将传输方程转化为图神经网络(GNN)的骨干,其中传播流由每个节点处Tau积累的势能驱动。原创 2024-04-29 09:27:54 · 821 阅读 · 0 评论 -
通过阐明淀粉样蛋白级联与tau传播之间的相互作用,提高阿尔茨海默病早期诊断准确性
尽管淀粉样蛋白(Aβ)沉积和tau神经原纤维缠结(tau)是阿尔茨海默病(AD)的重要特征,但越来越多的证据表明Aβ和tau之间的相互作用是理解AD病因的关键。然而,在当前最先进的AD早期诊断模型中,这两个AD特征通常被视为独立变量,这可能部分地导致了解释性不足的问题。受系统生物学最近的进展启发,Aβ级联和tau传播的生物过程被形式化为一个封闭环反馈系统,该系统动态受到脑内区域间白质纤维束的约束。在此基础上,Aβ-tau相互作用被概念化,遵循最优控制原理,作为AD的病理生理机制。原创 2024-04-28 10:00:17 · 1138 阅读 · 0 评论 -
可解释的几何加权图注意力网络”的神经网络结构:识别与步态障碍相关
帕金森病(PD)患者通常会出现步态困难和平衡问题,这是疾病的典型症状之一。通过识别与步态障碍相关的大脑功能紊乱,可以更好地理解PD的运动进展,从而推动更有效和个性化的治疗方法的发展。作者提出了一种名为xGW-GAT的新型神经网络,旨在预测PD患者步态困难的进展。这个网络使用MDS-Unified PD Rating Scale(MDS-UPDRS)来对多类步态障碍进行预测。原创 2024-04-26 10:26:00 · 1267 阅读 · 0 评论 -
Reveal to Revise: An Explainable AI Life Cycle for Iterative Bias Correction of Deep Models论文速读
最先进的机器学习模型通常会学习嵌入在训练数据中的虚假相关性。在部署这些模型进行高风险决策时,例如在皮肤癌检测等医疗应用中,这会带来风险。本文提出了 Reveal to Revise (R2R),这是一个包含整个可扩展人工智能 (XAI) 生命周期的框架,使从业者能够迭代识别、缓解和(重新)评估虚假模型行为,同时进行最少的人工交互。R2R通过发现属性中的异常值或通过检查模型学习的潜在概念来揭示模型的弱点。在输入数据中检测负责的虚假并在空间上定位,然后利用这些虚假修改模型行为。原创 2024-04-24 10:30:27 · 958 阅读 · 0 评论 -
可解释的图像分类,提高组织表征的可信度论文速读
机器学习模型进行组织表征可以帮助决策并指导安全的肿瘤切除。为了让外科医生信任该模型,需要提供生成的预测的可解释性。对于图像分类模型,像素归因 (PA) 和风险估计是推断可解释性的常用方法。然而,前一种方法缺乏可信度,而后者无法提供模型注意力的视觉解释。本文提出了第一种方法,该方法将风险估计纳入PA方法,以提高图像分类的可解释性,使其更可信。所提出的方法迭代地应用带有PA方法的分类模型来创建大量PA图。介绍了一种通过估计像素分布的期望值来生成增强型PA图的方法。原创 2024-04-24 09:41:12 · 302 阅读 · 0 评论 -
使用原型学习和特权信息进行可解释的医学图像分类
可解释性通常是医学成像的基本要求。需要先进的深度学习方法来满足这种对可解释性和高性能的需求。本文研究了训练过程中可用的其他信息是否可用于创建易于理解且强大的模型。提出了一种名为Proto-Caps的创新解决方案,该解决方案利用了胶囊网络、原型学习和特权信息使用的优势。原创 2024-04-23 09:48:10 · 412 阅读 · 0 评论 -
正确的原因是错误的:可解释的 ML 技术能否检测出虚假相关性?
虽然深度神经网络模型提供了无与伦比的分类性能,但它们容易在数据中学习虚假相关性。如果测试数据与训练数据来自相同的分布,则使用性能指标很难检测这种对混淆信息的依赖性。可解释的ML方法,如事后解释或固有的可解释分类器,有望识别错误的模型推理。然而,有好坏参半的证据表明,这些技术中的许多是否真的能够做到这一点。本文提出了一种严格的评估策略来评估解释技术正确识别虚假相关性的能力。使用这种策略,我们评估了五种事后解释技术和一种固有的可解释方法,以证明它们在胸部 X 射线诊断任务中检测三种人为添加的混杂因素的能力。原创 2024-04-22 10:16:08 · 1017 阅读 · 0 评论 -
基于 Grassmannian Manifold的动态图嵌入学习的脑网络时空枢纽识别
神经成像技术的进步使得测量不同大脑区域之间的连接随时间演变成为可能。新出现的证据表明,一些关键的大脑区域,称为枢纽节点,随着时间的推移,在更新大脑网络连接方面发挥着重要作用。然而,目前的时空枢纽识别是建立在基于静态网络的方法之上的,其中每个时空脑网络的枢纽区域是独立识别的,而不考虑它们的时间一致性,并且无法使枢纽的演变与连接动态的变化保持一致。原创 2024-04-22 09:21:30 · 779 阅读 · 0 评论 -
FairAdaBN论文速读
深度学习在医疗研究和应用中变得越来越普遍,同时涉及敏感信息和关键诊断决策。研究人员观察到不同人口统计属性子组之间的性能差异显著,这被称为模型不公平性,并投入大量精力精心设计优雅的架构来解决不公平性,这带来了沉重的训练负担,带来了糟糕的泛化能力,并揭示了模型性能和公平性之间的权衡。本文提出了一种使批标准化适应于敏感属性的方法,即FairAdaBN。可以适应几种原来不知道公平性的分类主干。此外,我们推导出一个新的损失函数,该函数限制了小批量上的子组之间的统计平衡,鼓励模型在收敛时具有相当的公平性。原创 2024-04-21 22:26:50 · 158 阅读 · 0 评论 -
超分布检测中的平衡能量正则化损失
在超分布(out of distribution, OOD)检测领域,已有的一种使用辅助数据作为超分布数据的方法取得了良好的效果。然而,该方法为所有辅助数据提供了相等的损失,以区分它们与内层数据。然而,根据我们的观察,在各种任务中,辅助OOD数据的跨类分布普遍不平衡。我们提出了一种平衡的能量正则化损失,它简单但通常对各种任务有效。本文方法我们的平衡能量正则化损失利用辅助数据的类不同先验概率来解决OOD数据中的类不平衡问题。主要概念是正则化来自多数类的辅助样本,比来自少数类的样本更重。原创 2023-06-27 10:14:51 · 250 阅读 · 0 评论 -
在存在噪声标签的情况下利用评级机构间协议进行分类
在实际环境中,分类数据集是通过通常由人类完成的标记过程获得的。标签可能很嘈杂,因为它们是通过聚合由多个(可能是不一致的)注释器分配给同一样本的不同单个标签而获得的。在假设标签所受的潜在噪声分布未知的情况下,可以测量这些数据集上的参与者间一致性本文方法展示了如何利用注释器间统计来估计标签所受的噪声分布引入使用噪声分布的估计来从噪声数据集中学习的方法在经验风险最小化框架中建立依赖于估计量的泛化界限。原创 2023-06-19 10:39:41 · 491 阅读 · 0 评论 -
CIRDataset:用于临床可解释肺结节放射组学和恶性肿瘤预测的大规模数据集
肺结节表面的尖刺/分叶状突起、尖锐/弯曲的尖刺是癌症恶性程度的良好预测因素,因此,放射科医生会定期评估和报告,作为标准化的肺RADS临床评分标准的一部分。考虑到结节的3D几何形状和放射科医生的2D逐片评估,手动穿刺/分叶注释是一项乏味的任务,因此到目前为止,还没有公共数据集来探索这些临床报告的特征在SOTA恶性预测算法中的重要性。原创 2023-05-15 11:22:08 · 356 阅读 · 0 评论 -
用于鲁棒分割的矢量量化
背景医学领域中分割模型的可靠性取决于模型对输入空间中扰动的鲁棒性。鲁棒性是医学成像中的一个特殊挑战,它表现出各种图像噪声、破坏和域偏移的来源。通常通过模拟异构环境来尝试获得鲁棒性,要么以数据扩充的形式启发式,要么通过学习以对抗性的方式生成特定的扰动。方法提出并证明了在低维嵌入空间中学习离散表示可以提高分割模型的鲁棒性。这是通过一种称为矢量量化的字典学习方法实现的使用一组实验来分析潜在空间和输出空间在输入空间中的域偏移和噪声扰动下的鲁棒性。原创 2023-05-15 09:54:46 · 221 阅读 · 0 评论 -
Insix:面向真实的生成数据增强,用于Nuclei实例分割
遵循“复制-粘贴-平滑”原理并执行形态约束的生成实例扩充也就是提出了形态学约束,使增强图像能够获得关于细胞核的丰富信息,同时保持其形态学特征(例如,几何形状和位置)为了充分利用背景的像素冗余并提高模型的鲁棒性,进一步提出了一种背景扰动方法,该方法在不扰乱原始核分布的情况下随机打乱背景patch为了实现原始实例和模板实例之间的上下文一致性,设计了一个具有前景相似性编码器(FSE)和三元组丢失的平滑GAN代码地址。原创 2023-05-02 21:31:39 · 821 阅读 · 0 评论 -
利用三维CNN对阿尔茨海默病进行多模态研究
提出了一个系统评估多模态dnn的框架重新评估基于FDG-PET和sMRI的单模态和多模态网络实验表明,使用FDG-PET的单模态网络比MRI表现更好(精度0.91 vs 0.87),并且在组合时没有表现出改善。这与已建立的AD生物标志物的临床知识一致,但对多模态dnn的真正益处提出了质疑未来关于多模态融合的工作应该按照我们提出的评估框架系统地评估各个模态的贡献。原创 2023-04-17 11:06:07 · 770 阅读 · 0 评论 -
深度学习报错日志
修改代码过后忘记把模型加载GPU里面跑了,导致输入详细是GPU,但模型是CPU的情况。原创 2023-04-05 16:00:46 · 213 阅读 · 0 评论 -
隐私、公平和准确:在医学成像中训练大规模、保护隐私的AI模型
尽管使用DP进行训练提供了针对隶属度推断和重建攻击的正式(和经验)保护,其强度与所选择的隐私级别成正比,但DP的使用也产生了两个基本的权衡。第一种是“隐私-效用权衡”,即当需要更强的隐私保障时,诊断准确性会降低。直观地说,AI模型在训练数据中对代表性不足的患者群体的学习比例较少,这一事实被DP放大了(DP进一步限制了关于他们的信息流),导致模型预测或诊断中的人口统计学差异。通过指定噪声方差和训练步数,可以直观地总结出总隐私支出,以ε和δ-值的形式从输入数据“飞”到模型的信息量,这些值表示所谓的隐私预算。原创 2023-03-27 10:25:46 · 588 阅读 · 0 评论 -
InfoBatch阅读
在前向传播过程中,为每个样本保持其损失值的分数,将这些值的平均值设置为剪枝阈值。每个epoch中相应地修剪一定部分的小分数样本 , 扩大了剩余小分数样本的梯度,为了进一步降低总体更新的偏差,我们在最后几个epoch中使用完整的数据集进行训练。目的是通过减少训练的迭代次数来节省训练成本,剪枝过程在训练过程中进行,样本信息可以从当前的训练中获得。LARS和LAMB通过标准化分层梯度来稳定训练过程,通过更频繁地抽样某些样本来加快优化收敛速度。原创 2023-03-13 10:00:36 · 206 阅读 · 0 评论 -
《Multi-Head Multi-Loss Model Calibration》
提供有意义的不确定性估计对于在临床实践中成功部署机器学习模型至关重要。不确定性量化的一个核心方面是模型返回与模型正确的实际概率一致的预测的能力,也称为模型校准。没有一种技术可以与简单但昂贵的训练深度神经网络集成的方法相匹配。本文介绍了一种简化的集成形式,绕过了昂贵的深度集成的训练和推断,保持了其校准能力。用一组头部来代替网络末端的常见线性分类器,这些头部被不同的损失函数监督,以加强其预测的多样性。每个头都被训练成最小化加权交叉熵损失,但不同分支之间的权重是不同的。原创 2023-03-06 10:39:25 · 405 阅读 · 0 评论 -
《Dropout Reduces Underfifitting》
dropout:一种防止神经网络过拟合的正则化器在早期阶段,发现dropout减少了小批间梯度的方向方差,并有助于将小批梯度与整个数据集的梯度对齐,有助于抵消SGD的随机性本文找到了一种改善欠拟合模型早期dropout的性能的解决方案:在训练的初始阶段应用dropout,后面不使用与没有dropout的模型相比,早期使用dropout模型的最终训练损失更低探索了一种正则化过拟合模型的对称技术—— late dropout(早期迭代中不使用dropout,仅在训练后期激活)代码地址。原创 2023-03-06 10:28:37 · 79 阅读 · 0 评论 -
《The Forward-Forward Algorithm: Some Preliminary Investigations》
目的:介绍一种新的神经网络学习过程,并证明它在一些小问题上工作得足够好,值得进一步研究。forward - forward算法将反向传播的前向和后向传递替换为两个前向传递一个是正数据(即真实数据),另一个是由网络本身生成的负数据。每一层都有自己的目标函数,即正面数据有高优度,负面数据有低优度。一个层中活动平方和可以用作优度,但还有许多其他可能性,包括减去活动平方和如果正传递和负传递可以及时分离,负传递可以离线完成。原创 2023-03-06 10:33:58 · 581 阅读 · 0 评论