全球Deepfake攻防挑战赛

全球Deepfake攻防挑战赛

音视频赛题: https://www.kaggle.com/competitions/multi-ffdv/overview

赛题背景

随着人工智能技术的迅猛发展，深度伪造技术（Deepfake）正成为数字世界中的一把双刃剑。这项技术不仅为创意内容的生成提供了新的可能性，同时也对数字安全构成了前所未有的挑战。Deepfake技术可以通过人工智能算法生成高度逼真的图像、视频和音频内容，这些内容看起来与真实的毫无二致。然而，这也意味着虚假信息、欺诈行为和隐私侵害等问题变得更加严重和复杂。

为了应对这一挑战，我们举办了“外滩大会 - 全球Deepfake攻防挑战赛”。该挑战赛旨在邀请全球的参与者开发、测试和改进更加准确、有效和创新的检测模型，以应对各种类型的Deepfake攻击。这些模型将在真实世界的场景中进行测试，从而推动创新防御策略的发展，提高Deepfake识别的准确性。此次挑战赛不仅是对技术的比拼，更是对全球数字安全的一次重要贡献。我们期待着通过这次比赛，能够激发更多的创新思维和技术突破，共同应对Deepfake带来的安全威胁，保护数字世界的安全与真实性。

赛题任务

在这个赛道中，比赛任务是判断一张人脸图像是否为Deepfake图像，并输出其为Deepfake图像的概率评分。参赛者需要开发和优化检测模型，以应对多样化的Deepfake生成技术和复杂的应用场景，从而提升Deepfake图像检测的准确性和鲁棒性。

赛题数据集

训练集和验证集已经发布。训练集的标签文件train_label.txt用于训练模型，而验证集的标签文件val_label.txt仅用于模型调优。例如，在train_label.txt或val_label.txt中，每行包含两部分，由逗号分隔。第一部分是文件名（后缀为.mp4），第二部分是真实值。目标值为1表示深度伪造音视频，目标值为0表示真实的人脸音视频。

以下是train_label.txt和val_label.txt的样本：

train_label.txt

video_name,target
96b04c80704f02cb426076b3f624b69e.mp4,0
16fe4cf5ae8b3928c968a5d11e870360.mp4,1
…

val_label.txt

video_name,target
f859cb3510c69513d5c57c6934bc9968.mp4,0
50ae26b3f3ea85babb2f9dde840830e2.mp4,1
…

如果您希望提交此阶段的预测结果，可以在系统中提交验证集的预测分数文件prediction.csv，我们将在线反馈结果。文件中的每一行包含两部分，由逗号分隔。第一部分是视频文件名，第二部分是模型预测对应的深度伪造分数（即样本属于深度伪造视频的概率值）。请参考下面的提交模板：

prediction.csv

video_name,score
658042526e6d0c199adc7bfeb1f7c888.mp4,0.123456
a20cf2d7dea580d0affc4d85c9932479.mp4,0.123456
…

完整的prediction.csv文件也可以从数据浏览器中获取。请注意，提交验证结果的目的是帮助参赛者了解评估指标的工作原理，并确保您的离线评估指标与在线评估指标相同。请不要将验证的真实值提交到验证排行榜。

第二阶段
在第一阶段之后，我们将在第二阶段发布公共测试集。参与者需要在系统中提交测试集的预测分数文件prediction_test.csv，我们将实时在线反馈测试分数结果。

第三阶段

在第二阶段结束后，前30名队伍将晋级到第三阶段。在这一阶段，参赛者需要提交代码docker和技术报告。Docker要求包括原始训练代码和测试API（函数输入为图像路径，输出为模型预测的Deepfake评分）。主办方将检查并重新运行算法代码，以重现训练过程和测试结果。

评价指标

评估指标

比赛的性能评估主要使用ROC曲线下的AUC（Area under the ROC Curve）作为指标。AUC的取值范围通常在0.5到1之间。若AUC指标不能区分排名，则会使用TPR@FPR=1E-3作为辅助参考。

相关公式：

真阳性率 (TPR)：

TPR = TP / (TP + FN)

假阳性率 (FPR)：

FPR = FP / (FP + TN)

其中：

• TP：攻击样本被正确识别为攻击；
• TN：真实样本被正确识别为真实；
• FP：真实样本被错误识别为攻击；
• FN：攻击样本被错误识别为真实。

评估规则

• 验证结果每天限提交5次。测试结果每天限提交2次。
• 提交结果后，组委会将审核参赛队伍提交的结果，并邀请参赛队伍提供代码、技术方案等。最终排名将基于选手提交的测试集分数、我们在隐藏测试集上重现的测试集分数和技术报告，权重分别为0.2、0.6和0.2。
• 技术报告将由相关领域的专家根据以下方面进行评估：
  1. 创新性：技术创新和应用创新，创造性的解决方案；
  2. 通用性：未知攻击防御能力、跨数据集适应性、抗干扰鲁棒性、对抗攻击与防御能力；
  3. 实用性：可扩展性、运行速度、迭代成本；
  4. 可解释性：可以捕获、分析和反馈攻击线索。