Data Augmentation的几种常用方法总结

最新推荐文章于 2025-09-19 21:11:56 发布
转载 最新推荐文章于 2025-09-19 21:11:56 发布 · 7.1k 阅读 · 13
文章标签：

#机器学习 #深度学习

本文总结了多种常用的数据增强方法，包括颜色抖动(ColorJittering)、PCA抖动(PCAJittering)、随机缩放(RandomScale)、随机裁剪(RandomCrop)、水平/垂直翻转(Horizontal/VerticalFlip)等，旨在提升图像数据集的多样性和模型泛化能力。
部署运行你感兴趣的模型镜像

Data Augmentation的几种常用方法总结：
Color Jittering：对颜色的数据增强：图像亮度、饱和度、对比度变化
PCA Jittering：首先按照RGB三个颜色通道计算均值和标准差，再在整个训练集上计算协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCA Jittering；
Random Scale：尺度变换；
Random Crop：采用随机图像差值方式，对图像进行裁剪、缩放；包括Scale Jittering方法（VGG及ResNet模型使用）或者尺度和长宽比增强变换；
Horizontal/Vertical Flip：水平/垂直翻转；
Shift：平移变换；
Rotation/Reflection：旋转/仿射变换；
Noise：高斯噪声、模糊处理；
Label shuffle：类别不平衡数据的增广，参见海康威视ILSVRC2016的report；
Scale jittering(简单来说，就是crop size是固定的，而image size是随机可变的。举例来说，比如把crop size固定在224×224，而image的短边可以按比例缩放到[256, 480]区间的某个随机数值，然后随机偏移裁剪个224×224的图像区域。)
大部分参考这篇文章链接：https://www.cnblogs.com/zhonghuasong/p/7256498.html

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

数据扩增方法有哪些
实践出真理，接毕设/课设项目开发指导
02-05 627
假设类别C的主要特征为F，采集得到的图片包含背景噪声B，即现在C表示为(F, B)，我们本来期望学习关系$f^ ∗ : F → C$，结果现在可能学习成关系$\hat{f} : (F, B) \to C $，从而陷入过拟合。注意：torchvision.transforms.Cutout并不只是，正方形，也可以是任意矩形，感觉和RE一样，只是用的纯色填充罢了，如下图所示。可能会有人说，随机缩放，普通的数据增强也可以做，但作者考虑到很多人可能只有一个GPU，因此Mosaic增强训练时，
数据增强Data Augmentation原理与代码实例讲解
AI天才研究院
05-31 1438
1.背景介绍 在机器学习领域，尤其是在深度学习中，数据增强（Data Augmentation）是一种通过增加训练数据的多样性来提高模型泛化能力的技术。随着计算能力的提升和大规模数据集的可用性，深度学习已经在多个任务上取得了显著的进步。然而，获取足够量的标注数据往往是一个挑战，特别是在资源受限或者特定场景下。数据增强技术因此应运而生，它能够在不产生额外
数据扩增方法
chenran187906的博客
06-18 3552
数据扩增方法有很多：从颜色空间、尺度空间到样本空间，同时根据不同任务数据扩增都有相应的区别。 对于图像分类，数据扩增一般不会改变标签；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会改变像素标签。 以torchvision.transforms为例，首先整体了解数据扩增的方法，包括： 2.1 裁剪 中心裁剪：transforms.CenterCrop； 随机裁剪：transforms.RandomCrop； 随机长宽比裁剪：transforms.Rando.
深度学习----卷积神经网络的数据增强（Data Augmentation）详解
最新发布
Sunhen_Qiletian的博客
09-19 1551
摘要： 数据增强是提升卷积神经网络（CNN）泛化能力的关键技术，通过对训练数据进行随机变换（如翻转、旋转、颜色调整等）生成多样化样本，避免模型过拟合。其核心价值包括抑制过拟合、降低数据成本、提升泛化能力。增强技术分为几何变换（空间调整）、像素变换（颜色调整）和高级增强（如MixUp、生成式增强）。实施时需遵循仅在训练集使用、保持随机性、结合任务场景等策略，并注意避免语义改变。主流框架（如PyTorch、TensorFlow）均提供便捷的增强接口。数据增强以低成本显著提升模型性能，是CNN训练的必备方法。
Pytorch--RandomScaleCrop操作
xuyunyunaixuexi的博客
11-02 3770
class RandomScaleCrop(object): def __init__(self, base_size, crop_size, fill=0): self.base_size = base_size self.crop_size = crop_size self.fill = fill def __call__(self, ...
数据增强方法总结
Iriving_shu的博客
12-09 1万+
数据增强主要是为了减少网络的过拟合现象，通过对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景。方法常用的数据增强方法有： 旋转 | 反射变换(Rotation/reflection): 随机旋转图像一定角度; 改变图像内容的朝向; 翻转变换(flip): 沿着水平或者垂直方向翻转图像; 缩放变换(zoom): 按照一定的比例放大或者缩小图像; 平移变换(shift): 在图像平面上对
数据增强的几大方式
jenny88889999的博客
12-19 1879
每种方式适用于不同的场景，可以结合使用以提高模型的鲁棒性与泛化能力。
数据增强方法（Data Augmentation）是一种常用且有效的对训练样本进行预处理的方法,目的是通过对原始训练样本进行轻微的变换、扭曲或者添加噪声来扩充训练集，从而提高模型在实际应用中的泛化能力
AI天才研究院
08-03 1510
数据增强（Data Augmentation）是一种常用且有效的对训练样本进行预处理的方法。它的目的是通过对原始训练样本进行轻微的变换、扭曲或者添加噪声，来扩充训练集，从而提高模型在实际应用中的泛化能力。传统的数据增强方法主要基于图像领域，图像增广技术比较成熟，应用也比较广泛，比如卷积神经网络（CNN）中的翻转、裁剪、旋转等数据增强操作。然而对于文本领域来说，这种方法就显得力不从心了。由于文本数据的复杂性、稀疏性以及相对平坦的分布特征，传统的数据增强方法并不能有效地扩充文本数据。
Time Series Data Augmentation for Deep Learning: A Survey
c_cpp_csharp的专栏
09-05 1283
深度学习最近在许多时间序列分析任务中表现出色。深度神经网络的优越性能在很大程度上依赖于大量的训练数据，以避免过拟合。然而，许多现实世界时间序列应用的标记数据可能会受到限制，例如医学时间序列中的分类和AIOps中的异常检测。作为一种提高训练数据大小和质量的有效方法，数据增强对于深度学习模型在时间序列数据上的成功应用至关重要。在本文中，我们系统地回顾了时间序列的不同数据增强方法。我们提出了综述方法的分类法，然后通过强调它们的优势和局限性为这些方法提供了结构化回顾。
Graph Data Augmentation for Graph Machine Learning: A Survey
c_cpp_csharp的专栏
09-01 1061
最近，由于数据增强能够创建额外的训练数据和改进模型泛化，因此人们对图机器学习越来越感兴趣。尽管最近出现了这一热潮，但由于图数据的复杂性，非欧几里德结构带来的挑战，这一领域仍相对缺乏探索，这限制了对其他类型数据的传统增广操作的直接类比。在本文中，我们对图数据增强进行了全面和系统的综述，以结构化的方式总结了文献。我们首先根据它们修改或创建的图数据的组件对图数据扩充操作进行分类。接下来，我们将介绍图数据增强的最新进展，并按其学习目标和方法进行分类。最后，我们概述了当前尚未解决的挑战以及未来研究的方向。
Investigating the effectiveness of data augmentation from similarity and diversity: An empirical stu
wuling129的专栏
05-28 1272
数据扩充已成为一种广泛采用的技术，用于提高深度神经网络的泛化能力。然而，仅基于模型训练来评估数据增强方法的有效性在计算上要求很高，并且缺乏可解释性。此外，缺乏定量标准阻碍了我们对数据增强方法的潜在机制和新技术的发展的理解。。所提出的相似性度量描述了原始数据集和增强数据集之间的总体相似性，而多样性度量则根据类别量化了原始数据集中和增强数据集中固有复杂性的差异。重要的是，我们提出的措施与模型训练无关，确保了计算的效率。
数据增强代码data_augmentation.py
04-15
数据增强技术，采用开源框架keras代码库进行数据扩增，通过平移、旋转、裁剪、等方法对原始图像进行操作，得到更多的类似的目标图像。
数据增强方法
03-03
深度学习在数据量较小的情况下需要进行数据增强操作。本代码可以进行执行，增强数据
图像旋转45度的matlab代码-Data-augmentation-code:数据（图像）增强是深度学习中使用的一种流行技术，旨在通过扩大给
05-25
图像旋转45度的matlab代码图像增强码 数据（图像）增强是深度学习中使用的一种流行技术，旨在通过扩大给定数据集来提高模型的训练性能。 在这里，我从头开始介绍了用于图像增强的简单Matlab代码（在代码中只有3种类型：翻转和旋转到45，-60度），也可以根据增强类型进行修改。
Kaggle知识点：数据扩增方法
fengdu78的博客
04-25 1339
在Kaggle视觉竞赛中，数据扩增（Data Augmentation）是不可少的环节。数据扩增可以增加训练集的样本，同时也可以有效环节模型过拟合的情况，也可以给模型带来的更强的泛化能力...
如何实现数据增强——扩充数据集
热门推荐
A1983Z的博客
11-03 2万+
数据集扩充
六种常见的数据扩增方式（附代码）
李是李雅普诺夫的李的博客
03-25 4343
在某些场景下的目标检测中，样本数量较小，导致检测的效果比较差，这时就需要进行数据扩增。本文介绍常用的6类数据扩增方式，包括裁剪、平移、改变亮度、加入噪声、旋转角度以及镜像。 每一部分的参考资料也附在代码的介绍位置，大家可以参考。 裁剪（需要改变bbox）：裁剪后的图片需要包含所有的框，否则会对图像的原始标注造成破坏。 def _crop_img_bboxes(self,img,bboxes...
深度学习中的数据增强方法都有哪些？
weixin_40920183的博客
08-13 2003
很多实际的项目，我们都难以有充足的数据来完成任务，要保证完美的完成任务，有两件事情需要做好：(1)寻找更多的数据。(2)充分利用已有的数据进行数据增强，今天就来说说数据增强。作者 |言...
tabular data augmentation
06-11
### 表格数据增强的技术和方法 表格数据增强（Tabular Data Augmentation）是机器学习领域中用于提高模型性能的一种技术。其核心思想是通过生成额外的训练样本或调整现有样本，使模型能够更好地泛化并减少过拟合。以下是一些常用的技术和方法： #### 1. 数据插值与外推 数据插值是一种通过线性或非线性方式在现有样本之间生成新样本的方法[^2]。例如，可以通过均值、加权平均或更复杂的插值算法生成新的特征组合。此外，外推法可以将数据点扩展到超出原始范围的区域，但需谨慎使用以避免引入噪声。 #### 2. 噪声注入 向表格数据中添加可控的随机噪声是一种简单有效的增强方法[^3]。例如，在数值型特征中加入高斯噪声，或对分类变量进行轻微扰动。这种方法可以模拟真实世界中的不确定性，并帮助模型更稳健地处理异常值。 ```python import numpy as np def add_gaussian_noise(data, noise_level=0.1): noise = np.random.normal(0, noise_level, size=data.shape) return data + noise ``` #### 3. 合成少数类过采样技术（SMOTE） SMOTE（Synthetic Minority Over-sampling Technique）是一种专门用于解决类别不平衡问题的技术[^4]。它通过在少数类样本的特征空间中生成新的合成样本，增加模型对少数类的识别能力。 ```python from imblearn.over_sampling import SMOTE smote = SMOTE() X_resampled, y_resampled = smote.fit_resample(X, y) ``` #### 4. 特征变换 特征变换包括对原始数据进行数学操作以生成新的特征。例如，对数值型特征进行对数变换、平方根变换或多项式扩展[^5]。这些变换可以揭示隐藏的模式并改善模型的拟合效果。 ```python from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2) X_poly = poly.fit_transform(X) ``` #### 5. 混合样本（Mixup） Mixup 是一种通过线性组合两个样本及其标签来生成新样本的技术[^6]。它不仅适用于图像数据，也可以扩展到表格数据。通过这种方式，模型可以学习到更平滑的决策边界。 ```python def mixup_data(X, y, alpha=0.2): lam = np.random.beta(alpha, alpha) indices = np.random.permutation(len(X)) X_mixed = lam * X + (1 - lam) * X[indices] y_mixed = lam * y + (1 - lam) * y[indices] return X_mixed, y_mixed ``` #### 6. 时间序列增强（若适用） 对于包含时间序列信息的表格数据，可以通过滑动窗口、重采样或周期性扩展等方法生成更多样本[^7]。这种方法特别适合金融、气象等领域的时间序列预测任务。 #### 7. 数据集合并 当存在多个相关数据集时，可以通过合并它们来增加样本多样性[^8]。需要注意的是，必须确保不同数据集之间的分布一致，否则可能导致模型偏差。 --- ### 注意事项 在应用表格数据增强技术时，需注意以下几点： - **保持数据分布一致性**：增强后的数据应尽可能接近原始数据的真实分布。 - **避免过拟合**：过多的增强可能会导致模型过于复杂，反而降低泛化能力。 - **验证增强效果**：建议通过交叉验证评估增强技术对模型性能的实际影响。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值