营销文案的“瑞士军刀”：阿里妈妈智能文案多模态、多场景探索

✍🏻 本文作者：持信、悟放、因尘、逸冰

1. 引言

对广告业务来说，文案在其中的重要性无需多言，即使是以图片、视频为主要载体的广告中，文案创意也几乎不曾缺席，如何为广告主和智能创意提供更好的文案创意是我们一直在思考的问题。

在过往的工作中，我们聚焦在某几种热门风格文案的优化，努力解决其中的基本问题，比如文案生成的通顺度、准确性和多样性问题，在这个过程中我们积累了丰富的文案优化经验，为业务上的应用探索了道路，但是随之而来的瓶颈也逐渐显现出来。

由于近年来网络带宽的增加和网络技术的发展，媒体的表现形式变得多种多样，同时多媒体内容的制作成本也在不断降低，极大地降低了创作者的创作门槛，进一步造就了现在百花齐放的内容创作新时代。随之而来的对于文案创意也提出了新的要求，“说的对”、“说的好”已经不再是衡量优秀文案创意的唯二标准。

从宏观上，当前业务已经以各种形式深入各个媒体，我们所要思考的不只是怎样写好淘内文案，如何融入不同载体（图片、视频、信息流卡片等），如何契合不同媒体的风格调性，已经成为了我们更为关注的重点。

从微观上，对于广告业务来说，创意提效的重要手段之一是使用创意优选算法，但是创意优选算法对于创意深度（即创意的多样性）要求非常高，然而传统的通过算法手段解决文案多样性的方法，只能增加某种类型文案内部的差异，但是对文案风格的多样性束手无策。通过大量的线上实验，我们证明了相比文案内部差异，文案风格的差异恰恰是影响优选效果更重要的因素。

基于上述背景，我们对新一代的智能文案提出了两个方向的要求，第一是根据文案载体设计出时空恰当的文案，第二是根据投放媒体的风格生成出风格一致的文案。这两个问题目前在业界和学术界的研究都非常少，经过前期的调研和思考，我们将这两个问题转换成了下面四个任务，其中，我们期待通过“图上文案生成”、“视频解说长文案生成”任务解决第一个问题，“文本风格迁移”任务解决第二个问题，最后“详情页文案挖掘”任务可以帮助我们完成基础的素材积累，助力其他任务。

2. 任务及解决路径

2.1 图上文案生成

2.1.1 背景

广告主通常会给商品图片配上特定的装饰性文案以突出重点，提升商品的吸引力和信息量，这些文案通常包括产品名、产品介绍、卖点、点击引导、利益点等类型。然而为图片设计合适的图上文案通常需要雇佣专业写手和设计师来完成，成本较高且相对低效。

传统的图文创意是基于预设模板的方式，依赖设计师的模板去填充对应的文案，模板的多样性往往不足以匹配图片的多样性，导致模板的适配性不足，同时受限于模板的固定范式，要求我们具有明确指定各种文案类型和特定字数的文案生成能力，不够灵活且适配成本较高。

为此，我们希望提出一种自动化的图文创作方式，利用多模态的文案生成技术，综合考虑图片本身信息（如商品主体、商品主体位置和背景色）、商品文本信息、文本框位置layout以及多个框之间的相对位置关系等信息自适应地生成合适的文案。其中文本框位置可以通过其他手段获取，比如OCR工具或者layout模型生成等。

2.1.2 方法

现有的图像文案生成通常是对整张图片生成一个整体的叙述性文案，缺乏对图片在空间上与对应文案的交互关系。在这个任务中，我们将在图片上的多个位置生成多个与之对应的文案。