不确定地面真相项目教程

不确定地面真相项目教程

uncertain_ground_truth Dermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR'23 and ArXiv pre-print). 项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth

1. 项目介绍

uncertain_ground_truth 是由 Google DeepMind 开发的开源项目，专注于在不确定和模糊的地面真相（ground truth）情况下校准和评估 AI 模型。该项目的主要贡献在于提供了一种新的方法来处理标注不确定性，并通过统计模型进行标注聚合。项目包含了一个皮肤病学数据集和一些玩具数据集，用于验证和展示其方法的有效性。

该项目的主要论文包括：

• Conformal prediction under ambiguous ground truth (TMLR)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology (ArXiv)

2. 项目快速启动

安装环境

首先，确保你已经安装了 Conda。然后按照以下步骤操作：

# 克隆项目仓库
git clone https://github.com/google-deepmind/uncertain_ground_truth.git
cd uncertain_ground_truth

# 创建并激活 Conda 环境
conda env create -f environment.yml
conda activate uncertain_ground_truth

# 运行测试以确保环境配置正确
python -m unittest discover -s . -p '*_test.py'

运行示例

项目中包含多个 Jupyter Notebook 示例，你可以通过以下命令启动 Jupyter Notebook：

jupyter notebook

然后打开 colab_derm_data.ipynb 或 colab_mccp.ipynb 等 Notebook 文件，按照其中的步骤运行代码。

3. 应用案例和最佳实践

皮肤病学数据集应用

该项目提供了一个皮肤病学数据集，用于评估 AI 模型在不确定地面真相情况下的表现。你可以使用该项目中的统计聚合方法来处理标注不确定性，并通过 Monte Carlo 方法进行校准。

玩具数据集应用

除了皮肤病学数据集，项目还提供了一个玩具数据集，用于快速验证和理解项目中的方法。你可以通过运行 colab_toy_data.ipynb 来体验这些方法。

最佳实践

• 标注聚合：使用项目中的统计模型进行标注聚合，而不是简单的多数投票或平均。
• 不确定性量化：通过 Monte Carlo 方法进行不确定性量化，确保模型的校准和评估更加准确。
• 性能评估：使用项目提供的不确定性调整指标来评估模型性能，避免因标注不确定性导致的性能高估。

4. 典型生态项目

TensorFlow

虽然该项目主要使用 JAX 进行实现，但部分示例（如 colab_mnist_multi_label.ipynb）需要 TensorFlow 和 TensorFlow Datasets。你可以通过以下命令安装这些依赖：

conda install -c conda-forge tensorflow tensorflow-datasets

JAX

JAX 是该项目的主要计算框架，用于实现 Monte Carlo 方法和统计聚合。你可以通过以下命令安装 JAX：

conda install -c conda-forge jax

Scikit-learn

Scikit-learn 用于一些基本的机器学习任务，如数据预处理和模型评估。你可以通过以下命令安装：

conda install -c conda-forge scikit-learn

通过这些生态项目的结合，你可以更好地理解和应用 uncertain_ground_truth 项目中的方法。

uncertain_ground_truth Dermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR'23 and ArXiv pre-print). 项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth