Nat Methods｜人工智能与生物学交叉研究的投稿指南

本文链接：https://blog.csdn.net/qq_45404805/article/details/141353460

小罗碎碎念

昨天广东省人民医院的老师找我约稿，想要出一期推文介绍他们实验室发表的一篇科普类文章，我看了一下内容，对自己也很有帮助，所以就决定动手写一期（排在08-21的推文，敬请关注）。

昨天和老师聊了挺多，从目前的课题聊到了未来的规划，期间我问了一个问题，哪些因素会决定你能发高分的文章，老师也细心的回答了，我这里总结一下：

努力程度
课题方向热度
方法创新性
数据质量
期刊审稿人的偏向性

第一个是必备的，先要努力，才有后续的事。我觉得重点要关注的是第五个——审稿人的偏向性，因为要投其所好&对症下药，这也是我们直接能把控的方向。毕竟，大部分人的课题方向和数据，都是由老板来解决的。

我是研究医学AI的，那么这一期文章就来盘一盘《Nat Methods》官方发表的关于机器学习学科交叉指南，看看要想完成一篇出色的文章，你需要测试哪些指标。另外，推文里还介绍了一个青铜到黄金级别的进阶指南，大家可以对照自己的实验设计思路，去衡量自己的文章处于哪一个层次。

最后再提醒一下：研究影像组学/病理组学的，重点关注第一篇Commment，其余基本都是为研究生信分析准备的（从这里也可以看出来，传统的顶刊虽然开始扩大AI相关文章的接受面，但是更偏向传统的方向，懂的都懂哈）。

最近身体不舒服，下午还要去拍CT，今天就这一篇了，下期见！！

一、确保深度学习分析可重复性的报告指南

内容概述

这篇文章强调了在生物图像分析中使用深度学习技术时需要考虑的关键概念、验证方法和报告标准，以避免复制危机并确保研究的可重复性。

这篇文章是一篇关于深度学习在生物图像分析中应用的评论文章，标题为《Avoiding a replication crisis in deep-learning-based bioimage analysis》，发表在《Nature Methods》2021年10月的期刊上。

文章由Romain F. Laine、Ignacio Arganda-Carreras、Ricardo Henriques和Guillaume Jacquemet共同撰写，他们讨论了深度学习算法在生物图像分析中的潜力和挑战，以及如何避免在研究中出现复制危机。

文章的主要内容包括：

深度学习在生物图像分析中的应用：深度学习（DL）算法是分析、恢复和转换生物图像数据的强大工具，能够实现专家级性能的一键式图像分析，大大缩短了所需的时间。
深度学习的挑战：尽管DL技术发展迅速，但其不适当使用的可能性引起了研究社区的担忧。文章讨论了在使用深度学习进行显微镜研究时需要考虑的关键概念。
结果验证：作者描述了如何验证使用深度学习获得的结果，并提出了在选择合适工具时应考虑的因素。
报告深度学习分析：文章建议在出版物中报告深度学习分析的哪些方面以确保可重复性。
深度学习模型的训练和验证：讨论了人工神经网络（ANN）的训练过程，包括监督训练和自监督训练，并强调了训练数据的重要性。
模型性能的评估：提出了评估深度学习模型预测质量的方法，包括与真实图像或标签的比较，以及使用各种度量标准。
选择DL工具的建议：文章提供了选择DL工具时的建议，包括考虑工具的文档完整性、维护情况、用户基础和在线论坛。
报告DL使用的指南：讨论了在出版物中报告DL使用情况的指南，以提高透明度和可重复性。
结论：文章强调了DL工具正在改变显微镜图像分析的方式，但正确的使用、验证和复制是必要的。作者提出了促进这些技术适当使用的建议。

文章的目的是促进开发者、图像分析专家、用户和期刊编辑之间的进一步讨论，以确定适当的指导方针，并确保这种变革性技术的适当使用。

重点关注

Fig. 1 展示了使用传统算法和基于深度学习（DL）的算法分析显微镜图像的关键步骤，以图像去噪为例。

在使用传统算法时，研究人员会投入精力设计可以直接应用于图像的数学公式（( f_x )）。而在使用DL算法时，首先需要使用训练数据集对模型进行训练。

之后，训练好的模型可以直接应用于其他图像并生成预测结果。图中展示的显微镜图像是使用硅罗丹明（SiR）-DNA标记的乳腺癌细胞核，通过旋转盘共聚焦显微镜成像。传统算法示例中的去噪使用了Fiji软件中的PureDenoise实现，而DL算法示例中的去噪则使用了在ZeroCostDL4Mic中实现的CSBDeep内容感知恢复（CARE）。比例尺为50微米。

分析这幅图，我们可以得出以下几点

传统算法与DL算法的对比：传统算法侧重于设计适用于特定图像处理任务的数学公式，而DL算法则侧重于通过大量数据训练模型，使其能够学习和模拟去噪任务。
训练与应用：DL算法需要经过训练阶段，使用训练数据集来优化模型参数。一旦模型训练完成，它就可以被用于新的图像数据，进行快速预测。
图像示例：图中使用的是乳腺癌细胞的图像，这些细胞核通过特定的荧光标记进行可视化，这在生物医学研究中是常见的实践。
软件工具：文中提到了两种不同的软件工具，Fiji和ZeroCostDL4Mic，分别用于实现传统去噪算法和深度学习去噪算法，这表明了不同工具在图像分析中的可用性和应用场景。
图像尺度：通过比例尺我们知道图像中的特征尺寸大约在微米级别，这对于理解图像内容和分析结果至关重要。

二、提高生物信息学领域机器学习分析的可重复性和透明度

内容概述

这篇文章提出了一套用于生物学研究中监督机器学习分析的社区推荐标准，旨在提高方法的评估、可重复性和透明度。

这篇文章是关于生物学研究中监督机器学习验证的社区推荐集合，称为FOCUS DOME。随着高通量技术成本的下降，大量生物数据被生成并提供给研究人员。机器学习（ML）已成为理解细胞、基因组、蛋白质组、翻译后修饰、代谢和药物发现数据的有用方法，具有潜在的突破性医疗应用。然而，实验验证ML方法的理想情况只在少数出版物中发生。因此，现在是ML社区为报告基于ML的分析制定标准以促进关键评估和提高可重复性的正确时机。

文章强调了ML出版物的增长，并指出需要制定适当的ML算法构建指南以确保正确的结果和预测。在生物医学研究中，已经定义了科学数据管理和计算工具可重复性的标准指南和最佳实践。ML社区需要关于数据、优化技术、最终模型和评估协议的一致和综合的推荐集合。

通过社区驱动的共识，文章提出了一系列最小要求的问题（Box 1），以帮助更忠实地评估报告方法的质量和可靠性。这些问题集中在数据、优化、模型和评估（DOME）上，因为ML实现的每个组成部分通常都涉及这四个主题之一。文章没有提出新的特定解决方案，只有推荐（表1），并提供了一个报告清单。

推荐的开发是通过ELIXIR机器学习焦点小组在呼吁为生物学中的ML建立标准的评论发表后最初制定的。ELIXIR是一个成熟的政府间欧洲生物数据基础设施，代表22个国家的220多个研究组织，并有700多名国家专家参与开发和运营国家服务。

推荐的范围涵盖了根据DOME缩写的监督ML的四个主要方面。关键点和每个DOME方面的基本原理在表1中进行了描述，并在Box 1中提供了一个可操作的清单（将推荐编码为问题），建议作者在报告手稿中的ML方法时使用作为指南。

文章还讨论了开放领域和推荐的限制，指出关键问题如数据未发布、数据分割未报告以及模型源代码及其最终参数和超参数未发布可以通过工作流系统来辅助。此外，文章还讨论了开源倡议的社区管理治理模型，并建议为DOME推荐建立类似的结构。

最后，文章的目的是提高ML方法的可重复性和清晰度，供读者、实验者、审稿人和更广泛的社区使用。作者承认这些推荐不是完整的，并且应该被视为基于共识的社区讨论的第一版。文章建议在描述基于ML的研究的手稿中包括一个ML摘要表（补充表1），并推荐在手稿的方法部分包含特定的句子以支持DOME推荐。

重点关注

Fig. 2 展示了机器学习(ML)中的评估指标，包括分类和回归两种情况的度量方法。

分类指标：

混淆矩阵：由真正例(tp)、假正例(fp)、假负例(fn)和真负例(tn)组成，是评估二分类模型性能的核心度量。
分类度量：可以从混淆矩阵的基本值计算出多种分类度量，如图中所示的准确率、召回率(敏感度)、精确度、F1分数(Dice系数)等。
ROC曲线和AUC：接收者操作特征曲线(ROC)和曲线下面积(AUC)用来评估模型在不同阈值下的性能。
多类别问题：对于多类分类问题，需要调整这些度量方法，具体细节可以参考文献35。

回归指标：

预测值与实验值：回归任务中，模型尝试产生与实验值(y)相匹配的预测值§。
回归度量：包括均方根误差(RMSE)、平均绝对误差(MAE)和决定系数(R²)等，用来量化预测值与实验值之间的差异。
可视化表示：除了数值度量，图表也能提供一种直观的方式来展示预测值和实验值之间的差异。

文章建议在任何ML工作中报告所有这些度量，以全面评估模型的性能。

三、机器学习在生物学研究中的可复制性与可重用性

内容概述

这篇文章强调了社区驱动的倡议在提高生物学领域机器学习报告的可复制性和可重用性方面的重要性，并提出了一系列标准和工具来应对这一挑战。

这篇文章主题是关于在生物学领域使用机器学习时如何保持检查和提高报告的可复制性和可重用性。

背景介绍：传统科学研究论文中的方法部分对于实验和分析程序的详细描述至关重要，有助于读者理解和验证结果的可复制性。然而，在大数据和深度学习时代，生物学家现在使用高级机器学习方法来解决复杂任务，这些方法由于模型架构复杂、参数众多和训练数据庞大，导致结果的可复制性和方法的可重用性面临严重障碍。
问题阐述：忽视这些问题可能导致对报告性能的过度自信，甚至在新应用中失败。这表明，实验科学的可复制性危机正在扩展到计算生物学领域。
社区倡议：为了应对这一挑战，社区正在联合起来开发解决方案。文章提到了两个独立的研究小组提出的报告机器学习方法的建议和指南：DOME建议和AIMe标准与注册表。
DOME建议：由Walsh等人提出的DOME建议，针对监督机器学习应用的报告，关注数据、优化、模型和评估四个主要方面，并设计了一份作者问答清单，以协助撰写和审查与机器学习相关的论文。
AIMe标准与注册表：Matschinske等人提出的AIMe标准与注册表，通过数据库提供电子报告，描述生物医学人工智能方法，并使读者和审稿人能够评估相关论文的内容和质量。
标准比较：尽管DOME和AIMe在具体要求和实施上有所不同，但它们都是基于社区的、开放反馈的，并制定了治理机制以支持未来的修订。
报告的重要性：文章强调，尽管报告对于解决可复制性和可重用性问题至关重要，但单独的报告并不能解决所有问题。材料和数据的可用性已成为科学出版的新规范。
评估可复制性：Heil等人提出了一个三级评估系统来评估生物学中机器学习的可复制性，包括青铜、黄金和银色标准。
工具和方法：文章还讨论了工作流管理器等软件工具的使用，这些工具不仅有助于提高可复制性和可重用性，还有助于开发和优化复杂的计算流程。
未来展望：尽管目前有这些标准和工具，但机器学习技术的快速发展和我们对生命系统理解和建模的期望可能会超越当前加强可复制性和可重用性的策略。文章最后提到了不同领域对机器学习报告指南的需求，并强调了在生物学中最大化机器学习潜力的必要性。

文章最后呼吁社区共同努力，探索和改进期刊标准，以确保计算结果和方法的可复制性和可重用性。

四、从青铜到金：机器学习研究的可重复性等级

内容概述

这篇文章讨论了在生命科学领域中，如何提高机器学习分析的计算可重复性。

作者提出了一套基于数据、模型和代码发布、编程最佳实践和工作流自动化的标准。这些标准包括：

青铜标准：公开分析使用的数据、模型和代码。这是可重复性的最低标准。
银标准：在青铜标准的基础上，分析的依赖项可以通过单一命令下载和安装；记录了复制工作的关键细节，包括运行分析脚本的顺序、使用的操作系统和系统资源需求；并确保分析中的所有随机组件是确定性的。
金标准：满足银标准，并使整个分析可以通过单一命令来复制。这是完全自动化的可重复性标准。

文章强调，为了使机器学习模型在生命科学中得到信任，科学家们必须优先考虑计算可重复性。这不仅有助于确保报告结果的准确性，还能发现模型中的偏见。作者还讨论了隐私问题、计算密集型分析的挑战，以及如何通过期刊、徽章系统和可重复性合作者来激励可重复性研究。

文章最后指出，为了使生命科学领域的机器学习研究值得信赖，我们必须使其计算上可重复。通过努力达到青铜、银和金标准，可以提高生命科学中机器学习分析的可重复性，并加速该领域的研究。作者呼吁实施这些标准，以奖励可重复性科学，避免长期成本，并强调如果无法使纯粹的计算分析可重复，那么在湿实验室研究中实现真正可重复的工作将更加困难。

重点关注

Table 1 提出了三种不同等级的可重复性标准，旨在评估和确保机器学习在生命科学领域的研究的可信赖度。

以下是对表格内容的分析：

青铜标准（Bronze）
- 数据、模型和源代码必须公开且可下载。
- 这是可重复性的最低要求，没有数据、模型和代码，研究就无法被复制。
银标准（Silver）
- 除了满足青铜标准外，还需满足以下条件：
  - 所有分析的依赖项能够通过单一命令下载和安装。
  - 记录关键的分析细节，包括运行脚本的顺序、使用的操作系统和系统资源需求。
  - 确保分析中的所有随机组件是确定性的。
金标准（Gold）
- 满足银标准的所有要求，并进一步实现：
- 整个分析过程可以通过单一命令来复制，实现完全自动化。

表格中的每一列代表一个标准，每一行代表需要满足的具体要求。从青铜到金，标准逐渐严格，要求研究者提供更多的信息和工具，以便其他科学家能够更容易地复制和验证研究结果。这种分层的方法允许不同资源和能力的研究机构根据自己的情况选择合适的标准来实现。

五、社区驱动的生物医学AI模型报告平台——AIMe

内容概述

这篇文章介绍了一个名为AIMe（Artificial Intelligence in Biomedical research registry）的社区驱动报告平台，旨在提高生物医学AI模型的可访问性、可复制性和可用性，并允许社区进行未来修订。

背景：过去二十年，高通量技术发展迅速，产生了大量的生物医学数据，AI在生物医学研究中的应用也取得了突破性进展。然而，AI模型的决策过程往往不够透明，难以解释，且不完全可复制。
AIMe标准：文章提出了AIMe2021标准，这是一个通用的最小信息标准，允许报告任何生物医学AI系统。AIMe标准分为五个部分：元数据、目的、数据、方法和可复制性。
AIMe注册表：提供了一个用户友好的网络服务，引导新AI的作者通过AIMe标准，创建数据库条目和HTML报告，并分配一个独特的AIMe标识符。
社区参与：AIMe注册表是一个社区驱动平台，允许用户对现有条目提出问题，如果他们对条目的适当性或信息丰富度有疑问。此外，AIMe标准每年都会根据科学社区的反馈进行更新。
治理结构：AIMe计划的使命是促进开放、透明和可复制的生物医学AI研究。它遵循开放科学的原则，包括开放同行评审、开放方法学、对知识多样性的开放性以及开源代码。
年度修订过程：AIMe标准每年都会进行修订，以适应生物医学AI领域的新发展。
结论：文章强调了AI在生物医学领域的应用潜力，同时指出了当前出版物中关于数据、方法和AI实现的基本信息往往不完整，这构成了发展新AI方法和在研究和实践中应用AI的主要障碍。AIMe注册表的开发旨在解决这个问题，提高生物医学AI的质量、可靠性和可复制性。
代码可用性：AIMe网络服务和源代码是公开可用的，并在文章末尾提供了相关链接。

重点关注

Fig. 1 提供了AIMe注册表的概览，展示了其三个主要功能和服务：

创建新报告：用户可以创建新的报告，遵循AIMe标准来记录和报告他们的AI模型。这包括填写关于AI模型的详细信息，如元数据、目的、使用的数据、所采用的方法以及如何确保实验的可复制性。
查询数据库：用户可以通过AIMe ID查询数据库中的现有报告，或者通过全文搜索或关键词搜索来查找他们感兴趣的报告。如果用户在报告中发现不适当、不充分或误导性的答案，他们可以提出问题。
贡献于AIMe：用户可以通过加入AIMe指导委员会或提供反馈来贡献于AIMe的发展。反馈将被纳入下一版本的AIMe标准中，确保平台的持续改进和适应性。

此外，AIMe注册表还提供了一个开放的同行评审机制，允许社区成员对现有报告进行审查，并通过提出问题来促进报告的透明度和质量。这种社区参与和反馈机制有助于确保AIMe标准能够随着生物医学AI领域的进展而不断更新和完善。