全球Deepfake攻防挑战赛
音视频赛题: https://www.kaggle.com/competitions/multi-ffdv/overview赛题背景
随着人工智能技术的迅猛发展,深度伪造技术(Deepfake)正成为数字世界中的一把双刃剑。这项技术不仅为创意内容的生成提供了新的可能性,同时也对数字安全构成了前所未有的挑战。Deepfake技术可以通过人工智能算法生成高度逼真的图像、视频和音频内容,这些内容看起来与真实的毫无二致。然而,这也意味着虚假信息、欺诈行为和隐私侵害等问题变得更加严重和复杂。
为了应对这一挑战,我们举办了“外滩大会 - 全球Deepfake攻防挑战赛”。该挑战赛旨在邀请全球的参与者开发、测试和改进更加准确、有效和创新的检测模型,以应对各种类型的Deepfake攻击。这些模型将在真实世界的场景中进行测试,从而推动创新防御策略的发展,提高Deepfake识别的准确性。此次挑战赛不仅是对技术的比拼,更是对全球数字安全的一次重要贡献。我们期待着通过这次比赛,能够激发更多的创新思维和技术突破,共同应对Deepfake带来的安全威胁,保护数字世界的安全与真实性。
赛题任务
在这个赛道中,比赛任务是判断一张人脸图像是否为Deepfake图像,并输出其为Deepfake图像的概率评分。参赛者需要开发和优化检测模型,以应对多样化的Deepfake生成技术和复杂的应用场景,从而提升Deepfake图像检测的准确性和鲁棒性。
赛题数据集
训练集和验证集已经发布。训练集的标签文件train_label.txt
用于训练模型,而验证集的标签文件val_label.txt
仅用于模型调优。例如,在train_label.txt
或val_label.txt
中,每行包含两部分,由逗号分隔。第一部分是文件名(后缀为.mp4),第二部分是真实值。目标值为1表示深度伪造音视频,目标值为0表示真实的人脸音视频。
以下是train_label.txt
和val_label.txt
的样本:
train_label.txt
video_name,target
96b04c80704f02cb426076b3f624b69e.mp4,0
16fe4cf5ae8b3928c968a5d11e870360.mp4,1
…
val_label.txt
video_name,target
f859cb3510c69513d5c57c6934bc9968.mp4,0
50ae26b3f3ea85babb2f9dde840830e2.mp4,1
…
如果您希望提交此阶段的预测结果,可以在系统中提交验证集的预测分数文件prediction.csv
,我们将在线反馈结果。文件中的每一行包含两部分,由逗号分隔。第一部分是视频文件名,第二部分是模型预测对应的深度伪造分数(即样本属于深度伪造视频的概率值)。请参考下面的提交模板:
prediction.csv
video_name,score
658042526e6d0c199adc7bfeb1f7c888.mp4,0.123456
a20cf2d7dea580d0affc4d85c9932479.mp4,0.123456
…
完整的prediction.csv
文件也可以从数据浏览器中获取。请注意,提交验证结果的目的是帮助参赛者了解评估指标的工作原理,并确保您的离线评估指标与在线评估指标相同。请不要将验证的真实值提交到验证排行榜。
第二阶段
在第一阶段之后,我们将在第二阶段发布公共测试集。参与者需要在系统中提交测试集的预测分数文件prediction_test.csv
,我们将实时在线反馈测试分数结果。
第三阶段
在第二阶段结束后,前30名队伍将晋级到第三阶段。在这一阶段,参赛者需要提交代码docker和技术报告。Docker要求包括原始训练代码和测试API(函数输入为图像路径,输出为模型预测的Deepfake评分)。主办方将检查并重新运行算法代码,以重现训练过程和测试结果。
评价指标
评估指标
比赛的性能评估主要使用ROC曲线下的AUC(Area under the ROC Curve)作为指标。AUC的取值范围通常在0.5到1之间。若AUC指标不能区分排名,则会使用TPR@FPR=1E-3作为辅助参考。
相关公式:
真阳性率 (TPR):
TPR = TP / (TP + FN)
假阳性率 (FPR):
FPR = FP / (FP + TN)
其中:
- TP:攻击样本被正确识别为攻击;
- TN:真实样本被正确识别为真实;
- FP:真实样本被错误识别为攻击;
- FN:攻击样本被错误识别为真实。
评估规则
- 验证结果每天限提交5次。测试结果每天限提交2次。
- 提交结果后,组委会将审核参赛队伍提交的结果,并邀请参赛队伍提供代码、技术方案等。最终排名将基于选手提交的测试集分数、我们在隐藏测试集上重现的测试集分数和技术报告,权重分别为0.2、0.6和0.2。
- 技术报告将由相关领域的专家根据以下方面进行评估:
- 创新性:技术创新和应用创新,创造性的解决方案;
- 通用性:未知攻击防御能力、跨数据集适应性、抗干扰鲁棒性、对抗攻击与防御能力;
- 实用性:可扩展性、运行速度、迭代成本;
- 可解释性:可以捕获、分析和反馈攻击线索。