了解使用 AugLy 的数据增强

介绍

机器学习和深度学习模型的一个常见问题是“过度拟合”。这意味着模型在训练数据集上的准确性非常高，但在测试数据上却没有较高的准确性。

为了解决过拟合问题，我们可以增加数据集的大小，即将模型暴露于新数据以获得更好的泛化。额外的数据并不总是可用的，收集起来可能具有挑战性，而且耗时且昂贵。在这种情况下，数据科学家使用称为“数据增强 (DA)”的过程。

使用数据增强，我们可以通过几种增强技术来扩展真实数据的大小。此过程在具有较小数据集和过拟合的模型的项目中是有益的。数据增强有助于提高模型的准确性。

机器学习和深度学习模型可以使用数据增强。可以增强图像、文本、音频和视频类型的数据。一些深度学习框架——Keras、Tensorflow、Pytorch 等具有内置的增强功能，而许多开源 Python 库是专门为增强而开发的。

针对不同数据类型的增强技术：

图像：图像的增强技术允许缩放、翻转、旋转、裁剪、改变亮度/对比度/清晰度/模糊、颜色过滤等等。

文本：文本的增强技术通过单词/句子改组、同义词替换、释义等来支持 NLP 任务。

音频和视频技术可以通过引入噪声、改变速度等来增强数据。

图像和文本数据增强

医疗保健、农业、制造、汽车等领域的计算机视觉项目处理图像处理，似乎受益于图像数据增强。同样，具有深度学习技术的自然语言处理 (NLP) 应用程序也受益于文本数据增强。

本文重点介绍图像和文本增强。所有生成的增强图像和文本都是独一无二的，我们可以使用增强技术的组合来构建用于模型训练的多样化数据集。

重要的是要了解，使用工具扩充数据集是高效且容易的，但选择适当的扩充选项或技术组合需要对手头的真实数据集有很好的了解和一定程度的经验。

有多个用于图像和文本的 Python 数据增强库，但我们将在本文中探索“Augly”库和一些增强技术。

什么是AugLy ？

AugLy 是 Facebook 最近推出的用于数据增强的 Python 开源项目。AugLy 旨在提高 AI 模型在训练和评估期间的稳健性。该库包括四种模式（音频、视频、图像和文本），并提供 100 多种数据增强方法。

在处理涉及音频、视频、图像或文本数据集的机器学习或深度学习项目时，该库可以增加数据并提高模型的性能。

AugLy 是如何工作的？

四种模式的 AugLy 库使用相同的接口。基于函数的技术以及基于类的方法可用于数据增强。强度函数定义图像变化的强度。当调用 AugLy 函数时，这些是使用参数定义的。为了更深入地了解数据是如何转换的，该函数为用户提供了转换后的信息。

现在让我们看看 AugLy 可用的一些数据增强技术。

使用 AugLy 进行图像数据增强

使用 pip 命令安装 AugLy

pip install augly

上面的命令是下载使用图像和文本模式所需的先决条件。

要安装音频和视频格式的附加依赖项，请使用以下命令

pip install augly[av]

pip 不安装 python-magic。要安装它，请运行以下命令。某些环境需要运行 AugLy。

pip install python-magic-bin

如果你在 Google Colab 上运行本教程并遇到“No matching distribution found for python-magic-bin”错误，请改用此命令。

!sudo apt-get install python3-magic

对于 AugLy 的图像子库，我们