基于人工智能的深度伪造检测的局限性

在实际应用中检测高质量深度伪造的挑战。水印、基于人工智能的检测的有效性和局限性，以及新兴技术在确保媒体真实性方面的潜力。

公共教育、特定行业的人工智能实施以及积极的研究合作的重要性，以应对快速发展的深度伪造策略。

鉴于深度伪造生成技术的发展，当前检测方法在实际应用中的局限性是什么？水印或基于人工智能的检测等传统技术有多有效，尤其是在面对高质量的基于 GAN 的深度伪造时？

基于水印（出处）的检测和基于人工智能（推理）的检测都可以非常有效地根除任何/所有用例中的深度伪造。然而，前者面临着独特的实施问题——即平台和生成工具的“认可”。简而言之，如果人工智能生成模型没有使用出处水印签名，因为它根本没有选择加入，那么在这种情况下使用出处可能会受到限制。还有一种担心是，如果有人能够使用平台检查水印所使用的水印来签署内容，而不管其真实性如何，那么对水印的任何检查都会失败。

对于基于推理的检测，基本事实永远无法得知，因此检测基于 1/99 的概率，即相关内容是否可能被操纵。基于推理的平台不需要平台的支持，而是需要针对各种用例和情况下的各种深度伪造技术和技术进行训练的强大模型（以及作为平衡的各种匹配真实媒体）。

为了领先于新兴威胁载体和突破性的新模型，那些制定基于推理的解决方案的人可以借鉴新兴的人工智能研究，在这些研究产品化之前或之前将这些方法应用到检测模型中。为了借鉴起源策略，在公开部署之前，与生成式人工智能和深度伪造平台合作访问模型和技术，以便对未来模型生成的数据进行训练，这也是确保稳健性的关键。

使用区块链、元数据和数字水印对媒体进行身份验证的潜在优势和局限性是什么？是否有新兴技术或混合方法有望提高深度伪造检测的准确性？

与检测暴力图像或CSAM（通常需要检查对此类内容进行分类的已知数据库）不同，深度伪造没有已知的数据库，而且由于深度伪造的广度和深度以及深度伪造技术和模型，建立此类数据库是徒劳的。话虽如此，单一检测方法的效果不如组合检测方法——网络安全中的“瑞士奶酪”方法。基于推理和基于出处的检测方法协同工作可以相互补充，并且比单独使用它们提供更多关于每个扫描媒体文件的数据。

Deepfakes 已被用于虚假信息、网络骚扰和其他恶意活动。如何在公共和政府部门实施用于检测 Deepfakes 的 AI 工具，以保护信息完整性而不侵犯个人自由？

仅去年一年我们就发现，确保通信安全至关重要，尤其是在金融和政府部门。在最关键的切入点，我们可以从经验中得知，由于深度伪造（尤其是音频和视频）在通话环境和网络会议平台上分别构成财务和安全风险，其中许多实体已经实施了一定程度的深度伪造检测。

为了在这些领域实现有效检测，用于训练这些检测模型的数据集必须平衡且能代表更广泛的人群——包括但不限于口音、方言、肤色（跨越 Monk 肤色等级）、面部不对称以及一系列有助于使这些数据集真正代表人们的因素。这不仅是为了建立一个完全强大的系统；也是为了那些不是深度伪造者的人的公平性——防止由于缺乏一个集合或子集的代表性而导致的误报和漏报。

公众教育作为打击深度伪造威胁的工具有多有效？还可以采取哪些额外措施来帮助用户识别被操纵的媒体？

大部分公众已经知道人工智能的神奇之处，但很少有人知道它的危害。提高公众意识和教育水平始终至关重要，尤其是在消费内容可能被深度伪造或人工操纵的地方。然而，深度伪造变得如此令人信服，如此逼真，以至于即使是经验丰富的研究人员现在也很难仅通过查看或收听媒体文件来区分真假。这就是深度伪造的先进程度，而且它们的可信度和真实度只会继续增长。

这就是为什么在上述内容平台或任何可能存在深度伪造的地方实施深度伪造检测解决方案至关重要。用户不能也不应该被要求使用自己的感官来判断一个令人信服的音频文件是否真实，尤其是在音频真实性在不到两年的时间内突飞猛进的情况下。所以，是的，提高认识并将其作为网络安全/反社会工程培训的一部分是关键，但这不是万能的。

鉴于深度伪造创作者能够快速适应检测方法，您如何看待人工智能的未来发展，以协助预先识别和缓解新的深度伪造策略？

如前所述，了解研究的发展方向和行业合作对于快速检测新技术和模型至关重要。我们很幸运能与业内一些最知名的公司合作，因为他们与我们有着共同的使命，即确保企业和政府空间的通信免受危险的深度伪造攻击。通过合作和合作在公开发布之前增加对这些方法的访问，已经并将阻止新的威胁和不良行为者的出现。