【项目实战】使用AI进行文本数据增强

summer_8102

已于 2024-05-13 10:05:09 修改

阅读量436

点赞数 9

文章标签：人工智能大数据 python 自然语言处理

于 2024-05-13 10:05:01 首次发布

本文链接：https://blog.csdn.net/qq_41715032/article/details/138785982

版权

最近在做一个文本数据分类的项目，但是遇到了数据不平衡的问题，即某些分类标签对应的文本数据太少了，这种情况如何解决呢？——数据增强

1. 什么是数据增强？

数据增强是指通过对原始数据进行一系列变换或处理，生成具有一定差异性但又保持其标签不变的新数据集的过程。这个过程旨在增加数据样本的多样性，从而改善模型的泛化能力和鲁棒性。

2. 常见的数据增强技术？

图像数据增强：包括随机旋转、缩放、裁剪、翻转、平移、改变亮度、对比度、添加噪声等操作。
文本数据增强：包括随机插入、删除、替换字符、改变词序、同义词替换等操作。
时间序列数据增强：包括随机平移、缩放、添加噪声、截断、填充等操作。

3. 如何使用AI进行文本数据增强？

要实现AI进行文本数据增强需要的准备：

包括数据和数据标签的数据集
抽取出文本数据量少对应的分类标签及其文本数据
AI数据增强工程代码准备

3.1 案例分析

本次项目的数据集中共有35000条文本数据，每条文本数据都有标签，共600个标签。数据量最多的文本标签有432个，数据量最少的文本标签只有1个，有200个标签的文本数据量少于20条。

显然，无法直接开始模型训练，数据不平衡可能导致模型在少数类别上表现不佳。于是本项目对于数据量少的文本标签要进行数据增强，本项目是对文本数据量少于20的文本标签进行数据增强，以保证每个文本标签对应的数据量都大于等于20条。

比如：“请问哪一项最能描述您的工作环境和情况呢？”，标签为：“工作状态”，数据量只有1条，我需要对这条数据进行数据增强。

以下是对应的prompt：

def create_prompt(n, question_label, question_list):
    '''
    构建prompt

    @param
    question_label (list<dict<str，str>>)：标签
    question_list (list<str>)：示例题目

    @return
    prompt (str): 输出的 prompt
    '''

    prompt = f'''你是1个擅长深度学习数据增强的算法数据工程师，要求你根据给定的标签和示例题目，生成新题目用于给定标签的数据增强，必须满足以下要求：
    1.生成{20-n}个新题目
    2.不要进行任何解释，直接以Json格式输出新题目
    3.生成的题目不能重复

    以下是输出格式范例供你参考：
    {{"新题目": [题目1, 题目2, ...]}}

    以下是你本次任务的数据：
    标签：{question_label}

    示例题目：
    {question_list}
    '''

    return prompt

以下是调用GPT（invokeGPT函数这里省略，可以根据实际需要调用索要的模型）和prompt过程

prompt = create_prompt(n= 3, question_label="工作状态", question_list=['请问哪一项最能描述您的工作环境和情况呢？'
])
results, time_consuming, prompt_tokens, output_tokens = invokeGPT(prompt=prompt) 
print(results)