Deepfake Defenders：中科院开源 Deepfake 伪造内容识别工具！

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

微信公众号｜搜一搜：蚝油菜花

🚀 快速阅读

1. Deepfake Defenders 是由中科院自动化研究所团队开发的开源 AI 模型，专攻 Deepfake 伪造内容的识别。
2. 模型通过像素级分析和深度学习算法，实时检测图像和视频中的伪造痕迹。
3. 项目开源，全球开发者可共同参与改进，广泛应用于社交媒体监控、新闻验证等领域。

正文（附运行示例）

Deepfake Defenders 是什么

Deepfake Defenders 是由中国科学院自动化研究所的 VisionRush 团队开发的一款开源 AI 模型。它的主要作用是识别和防御由 Deepfake 技术生成的伪造图像和视频。通过分析媒体内容中的微小像素变化，这个模型能够有效检测 Deepfake，帮助用户区分真伪，减少虚假信息的传播和潜在的滥用风险。

Deepfake Defenders 的主要功能

• 伪造检测：能够识别出使用 Deepfake 技术制作的图像和视频。
• 像素级分析：利用深度学习算法，发现伪造内容中的细微异常。
• 开源协作：鼓励全球的开发者和研究人员参与改进，提升识别的精度。
• 实时识别：可以快速分析媒体内容，实时识别 Deepfake。

Deepfake Defenders 的技术原理

• 特征提取：使用卷积神经网络（CNN）来提取图像和视频的特征。
• 异常检测：识别 Deepfake 内容中常见的异常，比如不自然的面部表情。
• 生成对抗网络（GAN）：通过生成器和判别器的对抗训练，增强检测能力。
• 多模态分析：结合图像和音频内容，检测不匹配或异常的声音模式。

如何运行 Deepfake Defenders

预训练模型准备

在开始使用之前，请将模型的 ImageNet-1K 预训练权重文件放置在./pre_model目录下，权重下载链接如下:

RepLKNet: https://drive.google.com/file/d/1vo-P3XB6mRLUeDzmgv90dOu73uCeLfZN/view?usp=sharing
ConvNeXt: https://dl.fbaipublicfiles.com/convnext/convnext_base_1k_384.pth

训练

1. 更改数据集路径：将训练所需的 txt 文件放置在dataset文件夹下。
2. 更改超参数：在main_train.py中更改模型参数。

# RepLKNet
cfg.network.name = 'replknet'
cfg.train.batch_size = 16

# ConvNeXt
cfg.network.name = 'convnext'
cfg.train.batch_size = 24

3. 启动训练：

• 单机多卡训练（8 卡）：

bash main.sh

• 单机单卡训练：

CUDA_VISIBLE_DEVICES=0 python main_train_single_gpu.py

4. 模型融合：在merge.py中更改模型路径，执行python merge.py获取最终推理测试模型。

推理

通过 POST 请求接口进行推理，示例如下：

import requests
import json

header = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}

url = 'http://ip:10005/inter_api'
image_path = './dataset/val_dataset/51aa9b8d0da890cd1d0c5029e3d89e3c.jpg'
data_map = {'img_path': image_path}
response = requests.post(url, data=json.dumps(data_map), headers=header)
content = response.content
print(json.loads(content))

Docker 使用

1. Docker 构建：

sudo docker build -t vision-rush-image:1.0.1 --network host .

2. 容器启动：

sudo docker run -d --name vision_rush_image --gpus=all --net host vision-rush-image:1.0.1

资源

• GitHub 仓库：https://github.com/VisionRush/DeepFakeDefenders

---

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

微信公众号｜搜一搜：蚝油菜花