Datawhale AI 夏令营——CV图像竞赛(Deepfake攻防)——Task3学习笔记

已于 2024-07-20 20:15:02 修改
阅读量367 收藏 5
点赞数 12
文章标签： 人工智能 学习 笔记 python 图像处理 big data
于 2024-07-20 19:57:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63566347/article/details/140574840
版权

        这一篇是在 数据增强 的方向上发力，尝试提升模型的表现。

        数据增强的目的是通过人工方式增加训练数据的多样性，从而提高模型的泛化能力，使其能够在未见过的数据上表现得更好。对于图像而言，数据增强包括例如视角、光照、遮挡等情况，使得模型能够学习到更加鲁棒的特征表示。

        效果如下：

        数据增强的方式有很多：颜色变换、噪声、翻转、仿射变换、自动增强、图片混合 Mixup、图片裁剪 Cutmix 等。

        实际上，这些方法并不一定能有效提升训练效果，很有可能产生负面影响；同时，参数的值也需要不断调整。

        标记一下，初始代码的分数为 0.53，接下来进行各种尝试。

（1）随机旋转+随机裁剪+颜色抖动

# 定义增强变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomVerticalFlip(),
    # 增加的部分
    transforms.RandomRotation(30),  # 随机旋转角度
    transforms.RandomResizedCrop(256, scale=(0.8, 1.0)),  # 随机裁剪
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),  # 颜色抖动
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        可以看到，分数小有提升。

（2）调整参数

# 定义增强变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomVerticalFlip(),
    transforms.RandomRotation(15),      # 随机旋转 ±15 度
    transforms.RandomResizedCrop(256, scale=(0.8, 1.0)),  # 随机裁剪，裁剪比例 80% 到 100%
    transforms.ColorJitter(brightness=0.1, contrast=0.1, saturation=0.1, hue=0.05),  # 颜色抖动，变化幅度 10% 到 20%
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        可以看到，效果反而下降，说明参数修改的不好。

（3）颜色变换

import torch
from torchvision import transforms
from PIL import ImageFilter

# 自定义模糊变换
class RandomBlur(object):
    def __init__(self, radius=1):
        self.radius = radius

    def __call__(self, img):
        return img.filter(ImageFilter.GaussianBlur(self.radius))

# 定义颜色变化增强变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.Grayscale(num_output_channels=3),  # 转换为灰度图像，并扩展到 3 通道
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),  # 颜色抖动
    RandomBlur(radius=2),  # 应用随机模糊
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        分数比原始还低，说明这种方案效果不好，或者参数选取不对。

（4）调整参数

data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.Grayscale(num_output_channels=3),  # 转换为灰度图像，并扩展到 3 通道
    transforms.ColorJitter(
        brightness=0.1,  # 亮度变化范围 10%
        contrast=0.1,    # 对比度变化范围 10%
        saturation=0.1,  # 饱和度变化范围 10%
        hue=0.05         # 色调变化范围 5%
    ),
    RandomBlur(radius=1),  # 应用模糊，半径为 1
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        分数又有所回升，说明这种方案还是有效的，只不过参数需要调整得当。 

（5）自动增强

from torchvision import transforms

# 定义自动增强变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomVerticalFlip(),
    transforms.AutoAugment(transforms.AutoAugmentPolicy.CIFAR10),  # 使用 CIFAR10 的自动增强策略
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        使用的是 CIFAR10 的自动增强，确实有提升，但是效果真的一般，不如增强变换。

今日达到上限，明天再提交吧。

（6）混合增强，也就是将前面的增强都用上

from torchvision import transforms

# 自定义模糊变换
class RandomBlur(object):
    def __init__(self, radius=1):
        self.radius = radius

    def __call__(self, img):
        return img.filter(ImageFilter.GaussianBlur(self.radius))

# AugMix 数据增强
class AugMix(object):
    def __init__(self, alpha=1.0, num_ops=3):
        self.alpha = alpha
        self.num_ops = num_ops
        self.operations = [
            transforms.ColorJitter(brightness=0.1, contrast=0.1, saturation=0.1, hue=0.05),
            transforms.RandomRotation(degrees=30),
            transforms.RandomHorizontalFlip(),
            transforms.RandomVerticalFlip(),
            transforms.RandomAffine(degrees=0, translate=(0.1, 0.1)),
            transforms.RandomResizedCrop(size=256, scale=(0.8, 1.0)),
            RandomBlur(radius=1)
        ]

    def __call__(self, img):
        img = Image.fromarray(np.array(img))
        mixed_img = img.copy()
        
        for _ in range(self.num_ops):
            op = np.random.choice(self.operations)
            augmented_img = op(img)
            if np.random.rand() < 0.5:
                mixed_img = Image.blend(mixed_img, augmented_img, alpha=self.alpha)
            else:
                mixed_img = Image.blend(mixed_img, augmented_img, alpha=1 - self.alpha)
                
        return mixed_img

# 定义变换和 AugMix 增强
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    AugMix(alpha=0.5, num_ops=3),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

（7）使用 Mixup，就是将两个不同的图像及其标签按照一定的比例混合，从而创建一个新的训练样本

from torchvision import transforms

# 定义 MixUp 数据增强
class MixUp(object):
    def __init__(self, alpha=0.4):
        self.alpha = alpha

    def __call__(self, img1, img2, label1, label2):
        # 混合比例
        lambda_ = np.random.beta(self.alpha, self.alpha)
        # 图像混合
        mixed_img = lambda_ * img1 + (1 - lambda_) * img2
        # 标签混合
        mixed_label = lambda_ * label1 + (1 - lambda_) * label2
        
        return mixed_img, mixed_label


# 自定义数据加载器，应用 MixUp
class MixUpDataLoader(DataLoader):
    def __init__(self, dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True, alpha=0.4):
        super().__init__(dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers, pin_memory=pin_memory)
        self.mixup = MixUp(alpha=alpha)
    
    def __iter__(self):
        for batch in super().__iter__():
            images, targets = batch
            
            # 如果batch中的图像数量大于1
            if len(images) > 1:
                batch_size = len(images)
                mixed_images = torch.zeros_like(images)
                mixed_targets = torch.zeros_like(targets)

                for i in range(batch_size):
                    img1, label1 = images[i], targets[i]
                    img2, label2 = images[(i + 1) % batch_size], targets[(i + 1) % batch_size]
                    mixed_img, mixed_label = self.mixup(img1, img2, label1, label2)
                    mixed_images[i] = mixed_img
                    mixed_targets[i] = mixed_label

                yield mixed_images, mixed_targets
            else:
                yield images, targets

# 定义变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomVerticalFlip(),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

（8）使用 Cutmix，就是将一个图像的一部分剪切并粘贴到另一个图像上来创建新的训练样本

import torch
import numpy as np
from torchvision import transforms

# 定义 CutMix 数据增强
class CutMix(object):
    def __init__(self, alpha=1.0):
        self.alpha = alpha

    def __call__(self, img1, img2, label1, label2):
        # 混合比例
        lambda_ = np.random.beta(self.alpha, self.alpha)
        
        # 图像大小
        w, h = img1.size
        
        # 随机选择裁剪区域的大小和位置
        cutout_width = int(w * np.sqrt(1 - lambda_))
        cutout_height = int(h * np.sqrt(1 - lambda_))
        x = np.random.randint(0, w - cutout_width)
        y = np.random.randint(0, h - cutout_height)
        
        # 创建裁剪区域
        cutout = img2.crop((x, y, x + cutout_width, y + cutout_height))
        
        # 将裁剪区域应用到 img1
        mixed_img = img1.copy()
        mixed_img.paste(cutout, (x, y))
        
        # 标签混合
        mixed_label = lambda_ * label1 + (1 - lambda_) * label2
        
        return mixed_img, mixed_label


# 自定义数据加载器，应用 CutMix
class CutMixDataLoader(DataLoader):
    def __init__(self, dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True, alpha=1.0):
        super().__init__(dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers, pin_memory=pin_memory)
        self.cutmix = CutMix(alpha=alpha)
    
    def __iter__(self):
        for batch in super().__iter__():
            images, targets = batch
            
            # 如果batch中的图像数量大于1
            if len(images) > 1:
                batch_size = len(images)
                mixed_images = torch.zeros_like(images)
                mixed_targets = torch.zeros_like(targets)

                for i in range(batch_size):
                    img1, label1 = images[i], targets[i]
                    img2, label2 = images[(i + 1) % batch_size], targets[(i + 1) % batch_size]
                    mixed_img, mixed_label = self.cutmix(img1, img2, label1, label2)
                    mixed_images[i] = transforms.ToTensor()(mixed_img)
                    mixed_targets[i] = mixed_label

                yield mixed_images, mixed_targets
            else:
                yield images, targets

# 定义变换
data_transforms = transforms.Compose([
    transforms.Resize((256, 256)),
    transforms.RandomHorizontalFlip(),
    transforms.RandomVerticalFlip(),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

        代码中已附加注释，不再赘述。

        很容易发现，这种增强带来的不一定是正向收益，而且也不是混合得越多越好，这需要我们不断地去尝试，去试错。这篇文章就没有介绍不同的数据增强代表的含义，是因为确实简单，看看开头的那张图就能很容易理解。

        其他优化方案比如改进模型，调整训练轮数等等都在上一篇文章中，本篇就是介绍实践过程与结果。

感谢九月大佬的直播讲解，以及源码展示：https://www.kaggle.com/code/chg0901/deepfake-ffdi-ch3-modified-by-hong

上一篇链接：Datawhale AI 夏令营——CV图像竞赛(Deepfake攻防)——Task2学习笔记-CSDN博客

py小白、
关注
  • 12
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLP学习（Datawhale AI夏令营） TASK01#Datawhale示例代码
07-15
NLP学习（Datawhale AI夏令营） TASK01#Datawhale示例代码
AI学习笔记——卷积神经网络（CNN）
01-27
卷积神经网络（CNN）是人工智能领域中一种重要的深度学习模型，特别适用于图像识别和处理任务。相较于传统的全连接神经网络，CNN具有更好地捕获图像特征的能力，这得益于其独特的结构设计。 首先，卷积...
Datawhale AI夏令营CV图像竞赛(Deepfake攻防)
m0_55831665的博客
07-17 63
2.进行数据增强，进行图像大小调整，随机水平翻转，随机垂直翻转。1.修改神经网络模型，在resnet的基础上添加senet模块。
Datawhale AI 夏令营——电力需求挑战赛——Task1学习笔记
m0_63566347的博客
07-14 659
很简单的流程，最关键的处理数据也只是单纯的筛选、分组、求平均、重置序号、合并。这一份 baseline 只是用来入门，明显可以优化，具体考虑增加数据处理的流程与准确性，参数的选取与加工等等。时间序列问题是指对按时间顺序排列的数据点进行分析和预测的问题，往往用来做未来的趋势预测。比如，基于历史股票每天的股价，预测未来股票的价格走向。可以看出，这里的分数很大，也就是效果很差，具体优化请参考我的下一篇文章 Task2。这里的数据量在百万级别，总共就 68.4 MB，算是比较小的数据集，训练与预测速度都很快。
Datawhale AI 夏令营：从零入门CV图像竞赛(Deepfake攻防)----Task 1
2301_78848706的博客
07-17 156
从零入门CV图像竞赛(Deepfake攻防)----Task 1
Datawhale AI 夏令营 全球Deepfake攻防挑战赛 task2
Z_Zhangyijian的博客
07-17 660
目前的结论就是单用音频不大可能在deepfake分类任务中有较好表现，结合图像和同时间的音频则有较高的潜力，依据比较主观，来源于我自己在做分类时总结的规律，但听声音，基本判断不出结果（还有语言不通的问题）；结合音频和图像，相信可以区分大部分fake视频。项目要求：判断一段视频（图像+音频）是否为Deepfake图像，输出其为Deepfake图像的概率评分，目标值1分代表是深度伪造的音视频，0分表示真实的人脸音视频~意思大概是要人类选手利用手上的工具与Deepfake进行对抗，世界是一个巨大的生成对抗模型。
Datawhale AI 夏令营——Tesk2笔记
li_xin_ye的博客
07-17 182
1.学会了数据集绘制柱状图和折线图，理解了使用时间序列数据构建历史平移特征和窗口统计特征，了解了使用lightgbm模型进行训练并预测。3.一般的使用机器学习模型解决问题的主要步骤为探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。通过baseline代码和进阶代码分析数据、学习特征构建方式，分数初步提高，入门机器学习建模。学习进阶代码并实践，了解如何选择机器学习模型、建模。学习进阶代码并实践，对赛题数据进行分析。学习进阶代码并实践，了解如何构建特征。
学习笔记——人工智能与计算机视觉 计算机视觉.pdf
04-21
学习笔记——人工智能与计算机视觉计算机视觉.pdf 本笔记主要关注于人工智能和计算机视觉的知识点，涵盖了计算机视觉的基本概念、颜色模型、图像处理、图像平滑、图像锐化、边缘提取、图像滤波等方面。 一、计算机...
计算机视觉入门学习笔记（一）——环境搭建 计算机视觉.pdf
04-21
计算机视觉入门学习笔记（一）——环境搭建 计算机视觉是一种交叉学科，涉及计算机科学、数学、图像处理、机器学习等领域。计算机视觉的应用非常广泛，如图像识别、目标检测、图像分割、人脸识别等。为了入门学习...
揭示生成式 AI 在数据叙事和分析中的影响
gongdiwudu的专栏
07-16 1101
在广阔的数据分析领域，改变游戏规则的最深刻的发展之一是生成式人工智能 （GAI）。这是一个激动人心的时刻，人工智能不仅仅是基于历史数据进行处理和预测;它正在创造一些全新的东西，彻底改变数据叙事和分析过程。在最近的一次会议中，我有机会探讨了这项技术创新的基本原理、架构和潜在影响。以下是我们介绍的内容的简明摘要。
园区道路车辆智能管控视频解决方案，打造安全畅通的园区交通环境
TSINGSEE青犀视频官方技术博客
07-16 805
AI智能分析网关V4消防通道占用算法基于人工智能视觉分析技术，通过摄像头实时监测识别是否有机动车违规停放在消防车通道上，并及时提醒管理人员进行处理。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 267
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
大模型面经
最新发布
weixin_43744732的博客
07-19 668
大模型，面试，八股文
ChaosMeta for AI：混沌工程让AI稳定性更上一层楼
samson
07-18 393
混沌工程的核心思想是“通过在真实环境中引入故障，评估和提升系统的稳定性”。在实际应用中，这意味着通过故意制造各种错误和故障，观察系统的表现，从而找出和修复系统的脆弱点。随着AI系统逐渐成为现代技术的支柱，混沌工程的应用范围也在不断扩展。输出内容：模拟历史已发生的故障，如输出乱码，通过注入代码篡改故障，检验系统的容错能力，确保终端用户看到的是稳定可用的内容。任意代码篡改：模拟意外代码修改对输出的影响。输入内容：通过对抗性样本测试，确保模型的合规合法，符合伦理道德标准。
Gradio从入门到精通（1）---快速入门
疯狂飙车的蜗牛的博客
07-15 1395
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
深度学习计算机视觉中，如何理解feature maps的channel？
985小菜鸡
07-16 752
输入图像的通道：在最开始，输入图像通常有三个通道，对应于RGB三个颜色通道。因此，一个输入图像可以表示为一个形状为H×W×3H×W×3的张量，其中HHH是图像高度，WWW是图像宽度，3 是颜色通道数。卷积操作：当我们对图像应用卷积层时，我们会使用多个卷积核（filter）来扫描输入图像。每个卷积核会在输入图像上滑动，并产生一个单独的特征图。通常，我们会使用多个卷积核来提取不同的特征，这样我们就会得到多个特征图。特征图的通道：经过卷积操作后，输出的特征图也会有多个通道。
AI作画入门指南：从基础到高级的全面教程
2401_85639015的博客
07-15 596
定义：AI作画是利用人工智能技术生成艺术作品的过程。常用的工具包括Midjourney、DALL-E和Stable Diffusion等。原理：通过深度学习模型，AI能够解析输入的文字描述，并生成相应的图像。通过这份指南，您可以从基础入门逐步掌握AI作画的技巧，最终创作出独具个性的艺术作品。AI作画不仅是技术的应用，更是艺术的创作。希望这份全面教程能为您的创作之旅提供有益的帮助，激发您的艺术潜能。
基于深度残差网络迁移学习的浸润性导管癌检测
qq_47896523的博客
07-18 712
癌症是一种异常细胞不受控制地分裂损害健康组织的疾病。皮肤或覆盖我们内脏的组织中的癌细胞被称为癌。乳房中的大多数癌是导管癌。侵袭性导管癌(Invasive Ductal Carcinoma, IDC)始于乳管，侵犯乳房周围纤维组织，晚期可通过血液扩散至淋巴结或身体其他部位，威胁患者生命。这种恶性肿瘤的治疗取决于它的分期、严重程度和它所属的亚型。事实证明，早期诊断有助于减少治疗过程中的并发症，从而提高患者的生存几率。IDC癌的诊断可基于病理任务，包括显微镜观察和多片载玻片检查。
上海昇腾AI训练营笔记
嵌入式点灯砖家的博客
07-18 808
Ascend C系列AI处理器适用于计算力需求较低的场景，如智能监控、边缘计算等。提供多种精简模式和高性能模式，满足不同应用场景下的性能要求。支持全场景覆盖，既可以部署在云端也可以部署在端侧。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值