供应链 | 顶刊MnSc论文：大语言模型如何激发广告创意——探究协作方式与用户经验的双重影响

编者按

大语言模型如何激发创意潜力？——揭秘不同协作模式下的广告创作奥秘

本文为Management  Science期刊论文，原文信息：

• Chen, Z., & Chan, J. (2024). Large language model in creative work: The role of collaboration modality and user expertise. Management Science.

原文摘要总结如下：

自2022年12月ChatGPT发布以来，大语言模型（LLMs）被迅速应用于帮助用户完成各类开放性任务，包括创意工作。尽管LLM的多功能性为人机协作开辟了新的途径，但如何最佳利用LLM提升商业成果仍存在不确定性。本文展开了一项实验，专门分析了人机协作的两种模式对广告创作的影响：

• 模式一：“代笔者”——让LLM承担内容生成的主力工作，为创意注入AI智慧；

• 模式二：“反馈板”——将LLM作为反馈工具，对人类编写的广告文案进行改进建议。

我们通过社交媒体广告的点击量来衡量不同模式下广告的吸引力。结果发现，协作模式和用户经验的组合会带来显著的不同效果：

1. “反馈”模式提升非专家表现：非专业的广告创作者在LLM反馈的帮助下，创作出的广告点击量显著提高，与专家创作的广告水平更加接近。

2. “代笔”模式对专家效果欠佳：当LLM全权“代笔”，非但未提升广告质量，反而在专家组中出现了广告效果下降的情况。

文本分析显示，将LLM作为“代笔者”会引发“锚定效应”，导致创作者过度依赖AI生成的初稿，限制了创意的发挥，导致内容趋于同质化。而“反馈板”模式则帮助非专家逐步优化内容，使他们的创作更接近专家水准。

关键词：大语言模型；协作模式；随机实验；广告

你认为AI在创意行业中能否真正替代人类的灵感？欢迎留言讨论！

1. 问题背景

大语言模型（LLM）作为生成式AI的代表，通过预测文本生成流畅自然的回应，在广告文案、创意任务等非例行工作中展示出惊人潜力。2023年初，生成式AI领域的投资总额达107亿美元，企业纷纷将LLM融入营销、广告等业务中。例如，可口可乐与贝恩公司合作，引入ChatGPT来协助完成涉及创意工作的市场营销。此外，Jasper和Copy.ai等公司也提供基于LLM的内容生成工具，帮助处理广告文案等创意任务，并相信这些AI工具可显著加快任务完成速度。然而，这种AI力量究竟如何最佳地与人类协作？管理者们迫切想要了解不同协作模式的效果，以便让AI真正成为创意工作中的“助燃剂”。

两种AI协作模式：代笔与反馈

为了找到答案，我们设计了一个实验，让参与者在三种不同的协作模式下为某消费产品撰写广告文案：

1. 代笔模式：LLM负责生成初稿，用户进一步优化；

2. 反馈模式：用户独立撰写内容，由LLM提供反馈；

3. 对照组：用户无AI辅助，完全独立完成创作。

我们使用广告点击量来定义广告质量，这是一种常用的广告效果衡量标准。为了获得对广告实际效果的客观评估，这些广告被投放在真实的社交媒体广告活动中，捕捉每个广告的点击量作为因变量。

研究启示：如何有效利用AI提升创意质量？？

结果表明，LLM在提升内容执行力上有明显优势，但在创意性提升方面效果有限。对于非专家而言，反馈模式可作为提升内容质量的“加速器”；对于专家而言，减少对代笔模式的依赖，保持创意的独特性才是关键。这项研究为企业如何在创意工作中有效整合AI提供了实用指南，也揭示了AI对创意领域