如何使用大语言模型进行数据标注（非常详细）零基础入门到精通，收藏这一篇就够了

程序员霸哥

于 2024-10-05 10:00:00 发布

阅读量561

点赞数 13

分类专栏：网络安全 Python 程序员文章标签：语言模型人工智能自然语言处理 web安全安全 linux 运维

本文链接：https://blog.csdn.net/logic1001/article/details/142653376

版权

程序员同时被 3 个专栏收录

497 篇文章 2 订阅

订阅专栏

网络安全

464 篇文章 19 订阅

订阅专栏

Python

167 篇文章 0 订阅

订阅专栏

本文英文原文由本人在个人博客发表于2024年2月1日。在此我们在AI翻译的基础上做了少量编辑。点击“阅读原文“或者复制以下原文链接到浏览器即可浏览原文。

原文链接: https://harrywang.me/gpt-labeling

摘要

数据标注是大语言模型（LLMs）的一个重要应用。在这篇文章中，我将分享使用ChatGPT（API版本3.5和4）进行Aspect-Based Sentiment Analysis（ABSA）即基于方面的情感分析之后获得的一些见解和知识。我选择ABSA作为示例，是因为它是一个具有挑战性的任务，并且我之前在没有依赖LLMs的情况下，已经在一些研究和行业项目中处理过类似任务。例如，我的团队曾经训练并提供了一个基于BERT的ABSA 模型，您可以通过以下链接访问。

https://huggingface.co/tezign/BERT-LSTM-based-ABSA

本文的关键要点：

LLMs可以有效地执行数据标注任务，其表现水平类似于人类，且无需人工数据标注和模型训练，从而可能节省时间和成本。
使用 GPT4 来标注 200 万条评论，配合使用长的 few-shot 提示词，大约花费$30K。
Supervised Fine-tuning(SFT)即监督微调，更便宜且更快，但性能远不如 GPT4（注意：这可能是由于微调数据的问题 – 这边没有花太多时间调整微调数据集）。

主要议题包括：

不同的标注过程：人工 vs. 基于LLM
不同的方法（提示词工程 vs. 小批量处理 vs. 微调）及其时间/成本影响
不同方法的性能比较

ABSA任务和数据集

基于方面的情感分析（ABSA）是一项自然语言处理任务，旨在识别和提取产品或服务特定方面的情感。在这个领域有许多论文、数据集和比赛（参见https://paperswithcode.com/task/aspect-based-sentiment-analysis）。

例如，以下是一条餐厅评论，其中包含四个方面的情感（参见此repo：https://github.com/harrywang/openai-api-starter来获取一个简单的代码示例）：

这个地方非常酷，装饰也很棒。饮料还可以，但有点贵。

氛围：正面
食物：中性
价格：负面
服务：未提及

我们为一个研究项目创建了一个酒店评论的ABSA数据集，该数据集包含大约200万条酒店评论，涉及三个方面：

员工服务
服务机器人的服务
人机互动

我们雇用了数据标注员手动标注了约2.5万条评论，并训练了一个模型来标注其余的数据集。

传统过程
一个ABSA任务通常包括以下步骤：

手动标注一部分数据，分两步进行：首先定义方向，然后标注相应的情感。检查标注的一致性，如果人手不够则需要更多的标注员。
使用标注的数据训练一个模型并检查性能（如有需要则标注更多数据）。
使用训练好的模型预测其余的数据。

这个过程非常耗费人力和成本，例如，我们手动标注了约2.5万条评论，几位标注员花了几周时间完成。

基于LLM的过程:

使用LLM进行ABSA的过程如下：

手动标注一个小的测试数据集，例如几百条评论。
编写一个few-shot标注提示词（详见下文）并标注100条评论。
审查初步的标注结果，将任何错误标注的示例，特别是有挑战性的案例，作为补充示例加入few-shot提示词。根据需要重复此过程。
使用最终提示词标注其余的数据集。

提示词工程

提示词按照之前概述的步骤构建，最终如下所示：

You are an experienced data labeling engineer with extensive experience in labeling hotel reviews. Your task is to classify a review based on three dimensions, with four categories: positive, negative, neutral, and not mentioned.``   ``The definitions and examples of the three dimensions are as follows:``   ``Dimension 1: Quality of hotel staff service``   ``Definition: customer perceptions directly related to staff behavior or attitude, such as timely service, skilled, knowledgeable, professional, polite, caring, understanding, sincere, helpful, etc.``   ``Examples:``   ``Review: The cleaning lady cleans in a timely manner.``Sentiment: Positive``   ``Review: Staff were testing robots in the hallway, the noise was very loud and annoying, and the front desk did nothing about it!``Sentiment: Negative``   ``[more examples]...``   ``   ``Dimension 2: Quality of robot service``   ``Definition: customer perceptions of robot functionality or perceptions of the service result after using the robot``   ``Examples:``   ``Review: The robot is very convenient``Sentiment: Positive``   ``Review: The robot delivers too slowly``Sentiment: Negative``   ``[more examples]...``   ``Dimension 3: Human-robot interaction perception``   ``Definition: customer perceptions other than robot functionality, such as robot social intelligence (communication understanding ability), robot social existence (making one feel it has human characteristics or experiences a human can bring), robot design and novelty (voice, and posture freshness, curiosity, advanced, coolness.``   ``Examples:``   ``Review: The little robot speaks adorably, too cute``Sentiment: Positive``   ``Review: The robot's voice is too loud and noisy;``Sentiment: Negative``   ``[more examples]...``   ``   ``Now, classify the sentiment of the following review into three dimensions using a JSON object as the output method, with "employee_service", "robot_service", "human_robot_interaction" as the keys and the value is one of positive/negative/neutral/unknown.``   ``Here is the hotel review:

性能比较

最新的API定价如下（GPT4大约是GPT3.5的20倍贵，但是 OpenAI现在最新的GPT-4o的比之前的GPT4便宜了一半）：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

上述提示词相当长（在此我们使用了tiktoken来计算token数量），大约1400个token。连同实际评论，输入OpenAI API大约1500个token。

所以，标注一条评论的成本大致如下（考虑到输出很短，我们可以忽略输出的成本估计）：

GPT-4：$0.015
GPT-3.5：$0.00075
GPT-4o：$0.0075

对于200万条评论，总成本如下：

GPT-4：$30K美元 —— 相当贵！
GPT-3.5：$1.5K美元
GPT-4o：$15K美元

为了降低成本，我们尝试了以下方法：

小批量处理：将100条评论（而不是1条）附加到提示词中，以减少API调用的总次数。注意：如果每批次放入太多评论，输出可能会超过最大4096个token。
监督微调（SFT）：尝试使用100条评论微调GPT 3.5，去掉上述few-shot提示词中的示例以减少输入token（从约1500减少到约500）。

然而，小批量处理和SFT的标注性能都要差得多，如下所示。