如何识破“换脸“？DeepFake 数据集：真假难辨

已于 2024-04-29 16:01:38 修改
阅读量1.3k 收藏 37
点赞数 23
文章标签： 人工智能 gpu算力
于 2024-04-29 15:50:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/138315582
版权

最初，Reddit 社区出现了一系列利用深度学习技术制作的明星换脸小视频，这些视频将一位明星的脸替换成另一位明星的脸，但保留了原始视频中的面部表情和动作。这一现象引起了大量用户的关注，随之而来的是这一技术被命名为“DeepFake”。

如今，由 AI 合成的换脸视频已经不再罕见，但也伴随着各种法律和伦理问题。如果被恶意使用，DeepFake 技术可能在诸如色情制造、虚假新闻、视频语音诈骗等领域被用来误导舆论、扰乱社会秩序，甚至危害国家主权安全。因此，如何精确地检测出这些经过篡改的 DeepFake 视频和图像，仍是一个迫切需要解决的热点问题。

本文将梳理常用的 DeepFake 数据集，以协助研究人员更好地开展相关领域的工作。

LAV-DF

LAV-DF 是一个多模态（视频篡改和音频篡改）数据集，源自 VoxCeleb2 数据集，包含 136304 段视频，其中 36431 段真实视频，99873 段伪造视频。

发布时间：2022年。

  • 下载地址：https://github.com/ControlNet/LAV-DF

  • 论文地址：https://arxiv.org/abs/2204.06228

图片

ForgeryNe

ForgeryNet 是一个大规模人脸伪造数据集，特点如下：

  1. data-scale：290 万张图像、221 247 个视频

  2. manipulations：7 种图像级方法，8 种视频级方法

  3. perturbations：36 种独立扰动和更多混合扰动

  4. annotations：630 万个分类标签、290 万个操作区域标注和 221 247 个时间伪造段标签

可用于以下四项任务：

  1. 图像伪造分类，包括双向（真实/伪造）、三向（真实/伪造与身份替换伪造方法/伪造与身份保留伪造方法）和 n 向（真实与 15 种伪造方法）分类。

  2. 空间伪造定位，与相应的真实图像相比，对伪造图像的操纵区域进行分割。

  3. 视频伪造分类，重新定义视频级伪造分类，并在随机位置上对帧进行处理。

  4. 时间伪造定位，定位哪些视频的哪些时间段是被伪造过的。

相比同期数据集，ForgeryNet 数据来源广泛、伪造方法和质量多样、标注更丰富。

发布时间：2021年。

  • 下载地址：https://yinanhe.github.io/projects/forgerynet.html#download

  • 论文地址：https://arxiv.org/abs/2103.05630

图片

                            （a）真实图像， （b）伪造图像， （c）相应空间标注的示例。

OpenForensics

OpenForensics 是首个专为人脸伪造检测和分割任务创建的大规模数据集，由 115K 幅无限制图像和 334K 张人脸组成。与同期数据集相比，它包含各种背景和不同年龄、性别、姿势、位置和人脸遮挡的多人图像。所有图像都有丰富的人脸标注，支持多种任务，如伪造类别、边界框、分割掩码、伪造边界和通用人脸关键点。

  • 下载地址：https://sites.google.com/view/ltnghia/research/openforensics

  • 论文地址：https://arxiv.org/abs/2107.14480

发布时间：2021年。

图片

FFIW10K

FFIW-10K 数据集是由从 Youtube 收集的 10000 个高质量伪造视频组成，每帧视频中平均有三张人脸，每个视频都包含真实人脸和伪造人脸，更加接近现实复杂场景

发布时间：2021 年。

  • 下载地址：https://github.com/tfzhou/FFIW

  • 论文地址：https://arxiv.org/abs/2103.16076

图片

real

图片

 fake

WildDeepfake

WildDeepfake 数据集包含从互联网完全收集的 707 个 deepfake 视频中提取的 7314 个人脸序列。该数据集虽规模小，但数据集中视频场景和人物活动更加丰富，背景、光照等条件更加多元化。

发布时间：2021年。

  • 下载地址：https://github.com/deepfakeinthewild/deepfake-in-the-wild

  • 论文地址：https://arxiv.org/abs/2101.01456

图片

DFDC

DFDC 是由 Meta（原名：Facebook）主办的 Deepfake 检测挑战赛（DFDC）中分享的一个大规模 Deepfake 数据集，包含来自 3426 名付费演员的 10 万多个视频片段。这些视频通过多种 Deepfake、GAN 和 non-learned 方法生成。

相比其它数据集，它的一大亮点在于，所有对象均同意数据集使用其图像或视频，并允许在数据集构建过程中对其数据进行修改。

发布时间：2020年。

  • 下载地址：https://ai.meta.com/datasets/dfdc/

  • 论文地址：https://arxiv.org/abs/2006.07397

图片

DeeperForensics-1.0

DeeperForensics-1.0 数据集是由从 26 个不同国籍、20 岁到 45 岁不等的 100 名付费男女演员中收集的人脸数据组成，包含 6 万个视频，共 1760 万帧，是同期已有同类数据集的 10 倍。

为模拟现实情况，以 35 种不同的方式扭曲每个视频，从而最终数据集包含 5 万个未操纵的视频和 1 万个操纵的视频。

相比同期同类数据集，它的规模更大，质量和多样性更高，以及更加接近现实世界场景。

发布时间：2020年。

  • 下载地址：https://liming-jiang.com/projects/DrF1/DrF1.html

  • 论文地址：https://arxiv.org/abs/2001.03024

图片

Celeb-DF

Celeb-DF 数据集是由纽约州立大学吕思伟教授团队与中国科学院大学齐洪钢教授团队针对 DeepFake 数据集的视觉质量问题合作提出的大规模 DeepFake 视频数据集，共包含不同名人的 5639 条 DeepFake 高质量视频。该数据集的伪造人脸质量更高、更逼真。

发布时间：2020年。

  • 下载地址：https://ai.meta.com/datasets/dfdc/

  • 论文地址：https://arxiv.org/pdf/1909.12962.pdf

图片

DeepfakeTIMIT

DeepfakeTIMIT 数据集包括一组 64 x 64 大小的低质量视频和另一组 128 x 128 的高质量视频，其中包含从每个质量集的 320 个视频中提取的总共 10537 个原始图像和 34023 个虚构图像。

  • 下载地址：https://www.idiap.ch/en/scientific-research/data/deepfaketimit

图片

EEG Eye State Data Set

EEG Eye State 是一个眨眼数据集，其中所有数据均来自 Emotiv 脑电图神经头戴式耳机的一次连续脑电图测量，测量持续时间为 117 秒。

  • 下载地址：https://archive.ics.uci.edu/dataset/264/eeg+eye+state

  • 论文地址：https://arxiv.org/abs/1806.02877

图片

Deepfake 的技术不断进步，质量持续提高，因此对检测方法性能的要求也应继续提升。面对这一挑战，开发者们积极采取各种措施应对，从构建大规模数据集到引入先进的深度学习技术，不断涌现各种方法以适应伪造技术的不断演变。然而，技术的升级离不开算力的支持。作为算力服务商，趋动云拥有高性能的计算资源，能够快速处理海量数据，为开发人员提供强大的支持。

❝

趋动云是面向企业、科研机构和个人 AI 开发者构建的开发和推理训练服务，也是全球首个基于 GPU 算力池化云的服务。

趋动云的使命是连接算力·连接人：

📍通过连接全球算力，趋动云可以为用户提供便宜、好用的 AI 算力。
📍通过为AI算法开发全流程提供优化服务、构建全球开发者项目和数据社区，趋动云可以帮助AI开发者接入丰富的生态，快速实现最佳实践。

virtaitech
关注
博客
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
09-25 851
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
博客
异构AI算力资源池：智能世界的新型基础设施
09-23 1053
OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。
博客
图像修复（Inpainting）技术的前沿模型与数据集资源汇总
09-18 1103
图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。Inpainting 技术的应用广泛，包括但不限于：图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。
博客
见刊丨“GPU池化”术语发布
09-14 330
在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。
博客
GPU池化如何帮助用户灵活“避坑”
09-14 857
随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。
博客
GPU池化为实现Robotaxi按下快进键
09-12 434
该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。
博客
干货分享丨智造底座——AI算力池化的必要与实践
09-12 321
GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。
博客
OrionX vGPU研发测试场景下最佳实践之SSH模式
09-12 568
目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。
博客
OrionX vGPU 研发测试场景下最佳实践之Jupyter模式
09-11 1299
通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。
博客
OrionX vGPU 研发测试场景下最佳实践之CodeServer模式
09-11 992
在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。
博客
OrionX GPU算力池助力AI OCR场景应用
09-11 1221
OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。
博客
AI算力池化技术在银行业的最佳实践荣获“科学普及达人奖”
09-09 341
趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。
博客
AI算力池化技术助力运营商打造智算生态
09-09 771
当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，
博客
GPU设备化到服务化：高质量AI算力基础设施的关键
09-09 1075
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。
博客
GPU池化技术保障智慧电网高效建设
09-06 859
绿色、智能、互联已成为电力行业主旋律。趋动科技结合国网现有人工智能平台，实现了人工智能算力资源服务快速“一站式”集成，将人工智能计算任务和算力需求进行沉淀、集中和自动化，提升AI算力全局管理能力及管理精细度，助力客户充分发挥出电力企业级规模优势，全面提升其智能化程度、速度，保障智慧电网建设！为提升算力配给效率、节约社会资源，某省国网公司与趋动科技共同联手建设落地了《大规模异构算力池化调度》项目，有效保障了国网人工智能业务的算力调度供给，缓解算力资源压力，同时为未来国产化异构算力建设提供了前沿研究。
博客
AI算力池化平台加速智能驾驶技术发展
09-06 1068
1886年，世界上第一辆汽车诞生。在随后的一百多年时间里，汽车成为广泛用于社会经济生活多种领域的重要交通运输工具，极大地推动了人类社会经济的发展。进入新世纪，汽车的电动化、智能化日趋明显。在汽车智能化方面，最核心的当属智能驾驶了，从ADAS到智能驾驶，越来越多的AI技术在汽车上得到应用。相比有人驾驶的汽车，智能驾驶汽车需要通过三大关键系统感知层、决策层和执行层，来模拟驾驶人员的眼睛、大脑和四肢。
博客
GPU池化赋能智能制造
09-06 394
论坛期间，趋动科技技术总监张增金先生就“智造底座-AI算力池化的必要与实践”这一重要议题，阐述了趋动科技GPU资源池化解决方案，趋动科技不仅能够通过池化GPU灵活分配资源，从而支持更多人工智能负载，还能为制造场景下运行的应用提供高性能算力，为企业实现算力资源最大化提供有效支撑。算力驱动，赋能未来。现如今，趋动科技正与各位生态伙伴共同努力，持续加速智能制造、工业互联网等数字化应用场景在制造企业的全面落地，大力提升制造业实现数字化转型和智能化变革的速度与效率，让算力驱动企业运作，并实现效益与价值。
博客
智算池化助力城市算力网建设
09-06 695
智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，有力促进AI产业化、产业AI化及政府治理智能化。构建软件定义的异构AI算力资源池，使AI应用无需修改就能透明地共享和使用各智算中心内任何服务器之上的AI算力资源，不但能够提高智算资源利用率，而且可以极大便利AI应用的部署。软件定义AI算力的池化技术，实现了AI芯片的任意虚拟化、远程调用和池化。
博客
B站up主全程教学趋动云部署大模型：Meta新开源【Llama3.1-70B-Instruct】！
09-03 370
Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，在比8种支持语言更广泛的语言集合上进行了训练，预训练模型可以适应多种自然语言生成任务。Llama 3.1 模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和数据蒸馏。论文解读：https://blog.csdn.net/v_JULY_v/article/details/140659420。
博客
计算机视觉干货分享！YOLOv1-v10系列全记录
09-03 970
YOLO（You Only Look Once）系列模型是一类非常高效的目标检测模型。其主要特点是能够在单次前向传播中同时进行目标的定位和分类，实现实时的目标检测。YOLO 系列模型从最初的 YOLOv1 到目前的 YOLOv10，经过了多次迭代和改进，逐渐提高了检测的精度和速度。YOLO简史。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值