使用多模态大语言模型进行深度学习的图像、文本和语音数据增强

在过去的五年里，研究方向已从传统的机器学习（ML）和深度学习（DL）方法转向利用大语言模型（LLMs），包括多模态方法，用于数据增强，以提高泛化能力，并在训练深度卷积神经网络时防止过拟合。然而，现有的综述文章主要集中于机器学习和深度学习技术或有限的模态（如文本或图像），在涵盖LLM方法的最新进展和多模态应用方面仍存在空白。本文通过探索利用多模态LLMs进行图像、文本和语音数据增强的最新文献，填补了这一空白，提供了对这些过程的全面理解。我们概述了在基于LLM的图像、文本和语音增强中使用的各种方法，并讨论了当前方法中存在的局限性。此外，我们还从文献中识别了潜在的解决方案，以增强使用多模态LLMs进行数据增强的效果。本文为未来的研究奠定了基础，旨在改进和扩展多模态LLMs在提高深度学习应用数据集质量和多样性方面的使用。论文GitHub链接：https://github.com/WSUAgRobotics/data-aug-multi-modal-llm。

附加关键词：数据增强、大语言模型（LLMs）、生成式人工智能、图像增强、文本增强、语音增强、深度学习

1. 引言

数据增强是机器学习（ML）中的一项基础技术，通过生成现有数据样本的修改版本来增加训练数据集的大小和多样性[1, 2]。这一实践使用各种转换函数（TFs），如旋转图像或改变文字等方法，调整原始数据以产生新的变体，如图1所示。数据操作专家曾手动应用这些TFs生成新的示例，帮助更有效地训练深度学习模型。具体来说，图像旋转、Gaussian模糊、放大/缩小（图1）等TFs能够将一张来自果园的苹果图像转换成多个不同的方向，从而有效地增加针对图像处理模型的训练数据集大小。类似的文本和语音数据的TFs，如随机插入和特定的音频修改，分别扩大了自然语言处理（NLP）和音频分析应用的数据集[3, 4]。这些增强策略不仅增加了用于训练的数据量，还引入了模型可能在现实场景中遇到的各种变异，从而增强了模型的鲁棒性和泛化能力。图1a通过可视化展示了数据增强的基础实践，以旋转的苹果图像为例。

传统上，数据增强是手动执行的，但随着长短期记忆（LSTM）网络的出现，它变得更加自动化和广泛应用[5, 6]。LSTM使得在各种应用中自动生成合成数据成为可能，包括时间序列预测、自然语言处理（NLP）和人体活动识别[7]。这一转变减少了对手动数据创建的依赖，如图1b所示，图中展示了基于LSTM的数据增强的过渡过程。

基于LSTM的增强方法成为数据驱动领域的基石，直到大语言模型（LLMs）和生成式人工智能的出现。随着ChatGPT等创新的流行，LLMs开始重新定义数据增强，尤其是通过集成和自动化跨模态合成。如图1c所示，这个新时代利用多模态LLMs的上下文智能来执行数据增强。这些方法不仅超越了传统和基于LSTM的方法，还通过提供跨多种数据类型的更复杂、上下文相关的合成数据生成，进一步提升了数据增强的能力。

数据增强对于提高深度学习（DL）模型在计算机视觉、NLP和语音识别等各个领域的鲁棒性和性能至关重要。在计算机视觉中，诸如随机裁剪和翻转等技术通常用于通过促进不同方向和表达方式的泛化来防止过拟合[8]。类似地，在NLP中，同义词替换和释义重述帮助模型在多样的词汇和语言结构中实现泛化，这对于情感分析和聊天机器人等应用至关重要[2, 9]。在语音识别领域，噪声注入等策略使模型能够在噪声环境中可靠运行，通过模拟各种声学场景[10, 11]。

数据增强使模型能够在多种条件下进行训练，例如自动驾驶中的光照或医学影像中的情境，减少了对昂贵数据收集的依赖[12–15]。它还解决了类别不平衡问题，并增强了数据集的多样性，这对于需要在现实环境中实现高准确度的任务，如机器翻译和声音识别至关重要[16, 17]。数据增强通过合成增加训练数据，降低成本，加快开发，并最大化数据资源的投资回报率[2, 18]。

在现有数据增强方法的基础上，多模态LLMs的出现为该领域带来了许多变化。这些模型不仅超越了机器翻译和情感分析等传统应用，还引入了用于分类的伪数据生成和回归分析的数据集增强[19, 20]。这一转变引入了更动态和功能性的增强技术，这些技术不仅丰富了可用的方法，还加深了我们对模型训练和性能的理解[21]。

本综述的必要性
尽管已有众多关于AI研究中数据增强的综述文章探讨了各种技术，但大多数集中于传统的机器学习和深度学习方