使用 PyTorch 来检测癌症

总章节

---

本章主要内容

• 把一个大问题分解成更小、更容易的问题
• 探索复杂的深度学习问题的约束条件，并决定结构和方法
• 下载训练数据

在第 10 章中，我们将开始**构建数据解析和数据操作例程，这些例程将生成第 11 章中使用的数据，同时训练**我们的第 1 个模型。

为了做好后文所需要的工作，我们还将在本章中介绍我们的项目的**运行环境：我们将讨论数据格式、数据源，并探索问题域**对我们的限制。

---

9.1 用例简介

本章选择了**肺部恶性肿瘤的自动检测，只使用病人胸部的 CT 扫描作为输入。注意 CT 扫描本质上是三维 X 射线，以单通道数据的三维数组**表示。稍后会更详细地介绍。

准确地说，这一部分的项目将**以人体躯干的三维 CT 扫描作为输入，并输出疑似恶性肿瘤的位置**（如果存在的话）。

早期发现肺癌对生存率有很大的影响，但人工检测很难做到，尤其是在全面、全人群的场景方面。目前，审查数据的工作必须由训练有素的专家进行，需要对细节进行格外的关注。 做这项工作就好比你站在 100 个干草堆前，然后你被告知“确定其中哪一个（如果有的话）里面有针”。这种探寻方式可能导致错过警告信号，特别是在早期阶段信号非常微妙的时候。人类的大脑不适合做这种单调的工作，当然，这正是深度学习的意义所在。

不管你做什么项目，学习如何**审查、预处理和展示你的训练数据都是非常重要的。虽然我们是在肺部肿瘤的特定背景下介绍预处理，但要保证项目成功，这通常也应该是你需要做的准备工作。类似地，建立一个训练循环，获得正确的性能指标，并将项目的模型结合到一个最终的应用程序中**，这些都是我们将在第 9 章到第 14 章中使用的通用技能。

注意
虽然模型的**最终结果是有效的，但输出不够精确，不能用于临床**。我们专注于将之作为 PyTorch 教学的启发性例子，而不是用这些技巧来解决实际问题。

---

9.2 为一个大型项目做准备

重复的**卷积层和降低分辨率的下采样层仍然是模型的主要组成部分，不过我们将使用三维数据作为模型的输入**，这在概念上类似于第 1 部分最后几章中使用的二维图像数据，但我们不能依赖于PyTorch 生态系统中所有可用的二维特定工具。

这是**非标准数据的直接后果，因为没有预先构建的库随时可以给我们提供适合插入模型的训练样本**，我们需要去了解我们的数据并自己实现相当多的东西。 即使这样做了，我们也不会把 CT 转换成张量，把它输入神经网络，然后在另一边得到答案。

接下来实现代码的正常运行，将要求**访问 GPU ** 以达到合理的训练速度，最好是具有至少8GB 内存的 GPU。因为，在 CPU 上尝试训练我们将建立的模型可能需要几个星期。另外，还需要至少 220 GB 的空闲磁盘空间来存储原始训练数据、缓存数据和训练过的模型。

好了，我们已经确定这是一个困难的、多方面的问题，那么我们要怎么做呢？我们将解决一系列简单的问题，结合起来提供我们感兴趣的**端到端**的结果，而不是通过整个 CT 扫描来寻找肿瘤的迹象或潜在的恶性肿瘤。就像工厂的装配线一样，每一步都将从前面的步骤抑或输出中获取原材料（数据），进行一些处理，并将处理结果传递给生产线上的下一个工作站。

并不是每个问题都需要用这种方式来解决，但是**把问题分开为一个个部分单独解决通常是解决问题的一个很好的开始**。即使对于一个给定的项目来说，这是一个错误的方法，我们也很有可能在处理单个部分的过程中学习到足够多的知识，从而知道如何成功地重组我们的方法。

在我们详细讨论如何分解我们的问题之前，我们需要**了解一些医学领域的细节**。

---

补充：端到端

在此之前，可能有的同学对于“端到端”的概念有些陌生，这里做一个补充说明：

在技术领域，"端到端"通常用于描述一个解决方案，其中包含了**从输入到输出的所有环节和步骤**，而不仅仅是其中的一部分。这意味着整个过程都被考虑在内，从数据的获取和预处理，到模型的训练和评估，再到最终结果的生成和交付。

例如，在**机器学习领域**，一个端到端的解决方案可能包括以下步骤：

1. 数据收集和预处理：获取原始数据，并对其进行清洗、转换和标准化，以便用于模型训练。
2. 特征工程：根据数据的特点和任务的要求，对数据进行特征提取、选择和转换，以便提供有用的输入特征给模型。
3. 模型选择和训练：选择适当的机器学习模型，并使用预处理后的数据对模型进行训练。
4. 模型评估和调优：使用评估指标对训练好的模型进行评估，并根据评估结果进行模型的调优和改进。
5. 部署和推理：将训练好的模型部署到生产环境中，并使用新的输入数据进行推理，生成预测结果。
6. 结果分析和反馈：对生成的结果进行分析和解释，并根据反馈进行改进和优化。

端到端的解决方案强调了整个过程的一体性