人工智能学习：数据集的设计

 以MedMNIST数据集为例分析数据集是如何设计的：

1.实验的设计

      该研究在验证集上采用早停法的 ResNet （CNN模型，解决过拟合问题）为基线方法，对于 2D 数据集选取 ResNet18 和 ResNet50 分别在 28*28 和 224*224分辨率上进行测试；对于 3D 数据集，选取 2.5D、3D、ACS 卷积的 ResNet18 和 ResNet50 进行测试。同时，选取了三种自动机器学习模型 auto-sklearn、AutoKeras 和 Google AutoML Vision。

      所有的实验都进行了三次，最后对三次结果求平均，结果如表1所示。该研究还分别将 2D 和 3D 的每种方法在各自的数据集上进行平均，得到每种方法在 2D 或 3D 数据集上的平均性能指标，结果如表2所示。

表1 MedMNIST v2性能指标

表2 MedMNIST v2 性能平均指标

2.设计方法

（1）基线方法

      在验证集上采用简单的早期停止策略作为基准方法。灰度数据集的输入通道为1，三通道数据集的输入通道为3。与其他方法相比，ResNet-18和 ResNet-50的输入分辨率为28或224。

（2）AutoML 方法

      在 MedMNIST 分类十项全能中选择了几种 AutoML 方法，分别为：auto-sklearn、AutoKeras 和 Google AutoML Vision。auto-sklearn作为典型统计机器学习开源 AutoML 工具的代表，AutoKera以开源 AutoML 工具为代表的深层神经网络，以 Google AutoML Vision 为代表的商用黑盒 AutoML 工具。AutoKeras是一个开源的，基于 Keras 的新型 AutoML 库。AutoKeras 是一个用于自动化机器学习的开源软件库，提供自动搜索深度学习模型的架构和超参数的功能。对于每个数据集，我们设置最高临床试验到20纪元。它尝试了20个不同的克拉模型训练了20个纪元。根据验证集选择最佳模型。Google AutoML Vision是 Google Cloud 上提供的一个商业 AutoML 工具。我们可以在 Google AutoML Vision 上培训 Edge 可导出模型，并将经过培训的量化模型导出到 TensorFlow Lite 格式以进行离线推理，利用Google的云计算后端来训练自学习对象识别和图像检测模型。

3.性能评估

      ROC 曲线下的面积(AUC)和准确度(ACC)被用作评估指标。AUC 用来评估连续预测得分的无阈值度量，而 ACC 则用于评估给定阈值(或 argmax)的离散预测标签。AUC 对类别不平衡的敏感性低于 ACC。由于在此数据集中没有严重的类不平衡问题，因此 ACC 也可以作为一个很好的度量标准。为了简单和标准化评估，选择了 AUC 和 ACC。