什么是数据增强?

CM莫问

已于 2024-09-25 09:50:48 修改

阅读量2.7k

点赞数 28

分类专栏：人工智能算法常见概念文章标签：人工智能算法 python 数据增强

于 2024-09-25 09:47:53 首次发布

本文链接：https://blog.csdn.net/ChaneMo/article/details/142490532

版权

人工智能算法常见概念专栏收录该内容

53 篇文章

订阅专栏

一、数据增强的概念

数据增强（Data Augmentation）是机器学习和深度学习中的一种技术，用于通过转换训练数据集来增加数据的多样性和数量。这种方法通常用于处理数据量不足、数据不平衡或模型过拟合等问题。数据增强可以通过各种方法生成新的训练样本，而无需人工标注，从而扩展原始数据集。数据增强的目的是创建一个更加丰富和多样化的训练集，这有助于模型学习到更泛化的特征，提高模型的泛化能力和鲁棒性。在深度学习中，数据增强尤其重要，因为它可以显著提高模型对新数据的适应能力，减少过拟合的风险。

二、常见的数据增强类型

除了简单的过采样（通过对少数类别样本进行随机复制等实现样本总数的增加，目的是维持各类别样本数量相对统一）和欠采样（通过对多数类别样本进行随机抽样从而实现样本数量的减少，目的也是维持各类别样本数量相对统一）之外，数据增强有着多种更为复杂且有效的过采样或欠采样方式，且不同模态的数据增强方式各异。

1、图像数据增强

旋转：随机旋转图像一定角度。
缩放：改变图像的大小。
裁剪：从图像中随机选择一个区域并裁剪。
翻转：水平或垂直翻转图像。
颜色变换：调整图像的亮度、对比度、饱和度等。
添加噪声：在图像中添加随机噪声。
仿射变换：对图像进行平移、旋转、缩放等。

2、文本数据增强

同义词替换：用同义词替换文本中的某些词。
随机插入：在句子中随机插入词或短语。
随机交换：随机交换句子中的词的顺序。
随机删除：随机删除句子中的词。
回译：将文本翻译成另一种语言，然后再翻译回原语言。

3、音频数据增强

音调变换：改变音频的音高。
音量变化：调整音频的音量。
时间伸缩：改变音频的播放速度。
添加背景噪音：在音频中添加不同类型和级别的背景噪音。

4、数值数据增强

插值：在数据集中的两个点之间进行插值，以创建新的数据点。
噪声注入：在原始数据上添加少量的随机噪声，以生成新的样本。噪声可以是高斯噪声、均匀分布噪声或其他分布的噪声。
滑动窗口：如果数据是时间序列，可以通过在时间维度上滑动窗口来创建新样本。

三、数据增强应用

这里使用imblearn库进行数据增强的示例，这个库内置多种数据增强方法（数值型数据），可以进行开发参考。此外，在进行建模的过程中，切记切记切记不要对测试集进行数据增强！！！也就是说，我们划分train set和test set之后，应当仅对train set进行数据增强，test set保留原样用于测试。否则，某些数据在训练集中出现，而它们的增强样本在测试集中出现，会使得训练集的信息发生泄漏，从而使得模型的效果虚高！！！

from sklearn.datasets import make_classification
from imblearn.over_sampling import SMOTE
from collections import Counter

# 创建一个不平衡的数据集
X, y = make_classification(n_classes=2, class_sep=2,
                           weights=[0.1, 0.9], n_informative=3, n_redundant=1, flip_y=0,
                           n_features=20, n_clusters_per_class=1, n_samples=1000, random_state=10)

# 打印原始数据集的样本分布
print("原始数据集样本分布:", Counter(y))

# 使用SMOTE算法进行过采样
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)

# 打印过采样后数据集的样本分布
print("过采样后数据集样本分布:", Counter(y_resampled))

四、总结

对于机器学习任务，有时候样本量较少也能完成模型的训练且模型仍具有不错的泛化能力。而深度学习模型对数据的依赖性极强，数据量过小很容易导致模型过拟合，因此我们会采取数据增强策略扩充原始数据集，从而让深度学习模型有足够的数据进行训练。从经验上看，在原始数据较少的情况下，数据增强的倍数对建模效果有着不小的影响，一般会选择5的倍数进行数据增强，从5倍开始，然后到10倍，观察增强后的模型表现。以下是数据增强的一些优缺点：