医学图像人工智能专项课程-深度学习用于疾病诊断-第一课第一周19-20节

让我们回顾一下上一节提出的医学图像创建数据集的三个挑战

• 第一个挑战涉及到我们如何使这些测试集独立
• 第二个挑战涉及我们如何对它们进行采样
• 第三个挑战涉及我们如何设置 ground truth

让我们来讨论第二个挑战： 集合抽样。

sampling

假设我们从数据集中抽取了一个测试集。有时，测试集的大小只是整个数据集的一小部分，比如10%。

其他时候，在人类比较研究中，由于测试集需要由人类注释，所以测试集大小的瓶颈是期望多少个示例？

通常，测试集至少包含数百个医学人工智能研究的例子。

对测试集进行采样的挑战在于：当我们从数据集中随机抽取数百个样本的测试集时，我们可能不会抽取任何实际患有疾病的患者。

在这里，我们可能不会抽样到任何患有 mass 标签的例子。因此，我们无法在这些阳性的样本下测试模型的实际性能。

这尤其是医学数据的一个问题，我们可能已经有一个小的数据集，而不是每种疾病的很多例子。

在创建测试集时解决这个问题的一种方法是对测试集进行抽样，这样我们就至少有少数类的 X% 的样本。

在这里，少数类为 mass 类。通常我们把 X 设置为50%。

因此，对于100个样本的数据集，我们将有50个 mass 样本和50个非 mass 样本。这就保证了研究将有足够的数据来对模型在非疾病和疾病实例上的表现进行良好的评估。

一旦我们对测试集进行了抽样，通常情况下在训练之前对验证集进行抽样。

因为我们希望我们的验证集反映测试集中的分布，所以通常使用相同的采样策略。我们可能会决定在验证集中再次有100个例子，其中50个是mass，50个是非mass。

最后，剩下的病人可以包括在训练集中。由于测试和验证集被人为地抽样，以获得 mass 样本的大部分，因此训练集将具有更小的mass示例。

总结

对dataset进行训练集、验证集和测试集划分时。我们应该先划分测试集，使正负样本有一个较好的比例，比如各50%。接着我们再划分验证集，应该和测试集有类似构造。其余的数据可划分到训练集中。

如何确定ground truth

针对数据集的第三个挑战，在给数据集打标签时，如果医生之间存在分歧应该怎么办呢？

这里提供两种办法：

• 多数投票决定

我们可以采用协商一致的投票方式(consensus voting)。协商一致投票背后的想法是利用一组人类专家来确定ground truth。

例如：在一种情况下，我们可以让三名放射科医生检查胸部X光片，并确定是否存在肺炎。如果三个人中有两个说是，那么ground truth为1。

一般来说，答案将是三位放射科医生的多数票。或者，我们可以让三个放射科医生进入一个房间，讨论他们的解释，直到他们达成一个单一的决定，然后可以作为ground truth。

• 提供额外信息来辅助确定

第二种方法是使用一个更明确的检验(more definitive test)，它提供额外的信息来确定ground truth。

例如，为了确定某个病人的胸部x光片是否有 mass，可以进行的一个更明确的检查是CT扫描。

CT扫描显示潜在异常的三维结构，从而给放射科医生更多的信息。如果一个mass 在CT上被证实，我们就可以把这个基本的事实记录在胸部x光片上。

在我们之前看到的皮肤病学研究中，测试集的基本事实是通过皮肤病变活检确定的。这是一种医疗程序，将疑似癌症的皮肤样本取出并在实验室中进行检测，然后将检测结果用于设置照片图像的ground truth。

我们现在研究了两种方法来确定 ground truth 或参考标准，即协商一致投票和进行更明确的检查。

对于第二种方法，困难在于我们可能没有这些额外的检查可用。并不是每个接受胸部x光检查的人都要进行CT扫描，也不是所有有潜在可疑皮肤病变的人都要做活检。

因此，在现有数据集中获得可靠的 ground truth 通常必须使用第一种方法，即在现有数据上获得一致的 ground truth，这是许多医学人工智能研究使用的策略。

总结

我们讨论了算法测试的三个挑战以及医学领域的一些解决方案。

我们已经了解了如何在创建训练验证和测试集时按患者进行划分，如何在测试集中对少数群体样本进行最小百分比的抽样，以及如何使用一致投票或更具权威性的检查来确定ground truth。

祝贺你完成第一周的学习。

第一周的学习结束啦。做一个小总结：

主要学习有关多个医学领域任务的深度学习模型的示例，并了解了训练和测试您自己的高性能胸部x光解释模型所需的所有技术。你将在作业中实现这些想法，并拥有自己的胸部x光解释模型。

下周，你将学习如何评估你所建立的模型~~

文章持续更新，可以关注微信公众号【医学图像人工智能实战营】获取最新动态，一个关注于医学图像处理领域前沿科技的公众号。坚持已实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。只有实践才能成长的更快，关注我们，一起学习进步~

我是Tina, 我们下篇博客见~

白天工作晚上写文，呕心沥血

觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连