在 Hub 上使用 Presidio 进行自动 PII 检测实验

在 Hub 上使用 Presidio 进行自动 PII 检测实验

我们在 Hugging Face Hub 上托管的机器学习（ML）数据集中发现了一个引人关注的现象：包含个人未经记录的私密信息。这一现象为机器学习从业者带来了一些特殊挑战。

在本篇博客中，我们将深入探讨含有一种称为个人识别信息（PII）的私密信息的各类数据集，分析这些数据集存在的问题，并介绍我们在数据集 Hub 上正在测试的一个新功能，旨在帮助应对这些挑战。

包含个人识别信息（PII）的数据集类型

我们注意到包含个人识别信息（PII）的数据集主要有两种类型：

1. 标注的PII数据集：例如由 Ai4Privacy 提供的 PII-Masking-300k，这类数据集专门用于训练PII检测模型。这些模型用于检测和掩盖PII，可以帮助进行在线内容审核或提供匿名化的数据库。
2. 预训练数据集：这些通常是大规模的数据集，往往有数TB大小，通常通过网络爬虫获得。尽管这些数据集一般会过滤掉某些类型的PII，但由于数据量庞大和PII检测模型的不完善，仍可能有少量敏感信息遗漏。

机器学习数据集中的个人识别信息（PII）面临的挑战

机器学习数据集中存在的个人识别信息（PII）会为从业者带来几个挑战。首先，它引发