学习记录Part2 数据和预处理

学习记录Part2 数据和预处理

数据

• 训练本模型用了两个肺扫描数据集：肺结节分析数据集简称LUNA,数据科学碗2017训练集简称DSB。
• LUNA：这个数据集上有888个病人，1186个标记的肺结节
• DSB：这个数据集上1397个病人作为训练，198个病人作为验证，506个病人作为测试。DSB只是告诉你这个病人通过这次扫描是否被诊断为患有肺癌。作者人工标记了训练集中的754个结节和验证集中的78个结节。
• 两个数据集存在很大的不同。首先luna16标注了很多直径很小的结节，这些结节一般是无关与癌症。根据医生的经验，直径小于6mm的结节是不危险的。而DSB数据集中有许多非常大的结节（超过40mm）。
• DSB的平均结节直径在13.68mm，而luna16的平均直径在8.31mm。另外DSB中有很多结节与主支气管相连，这是LUNA16中很少见的。
• 如果直接只利用LUNA16作为训练数据，在DSB上的检测效果会不好。大结节的缺失会造成不正确的癌症预测，因为存在大的肺结节是癌症病人的一大特点。为此，作者去掉了LUNA中所有6mm以下的人工标记注释，同时手动标记了在DSB数据集上。
• 由于作者没有肺结节诊断的专业知识，所以之前结节的选择和手动标注可能会提高相当大的噪声（误差）。所以在模型的下一步（癌症分类诊断）设计用于对错