XGeneration：从文本到新媒体

1. 背景

内容的再生产：能否自动/半自动 对商家的商品广告/媒体内容进行再生产？以满足平台运营的需要。

XGeneration是：

1. 自动化程度高，对商家运营要求低

2. 适配多种电商场景的内容再生产解决方案

3. 电商NLG实践
XGeneration-NLG：

l 基本可控短文本生成：RQ1，RQ2

l Word2text model: PKM, PSCN for RQ1

l KG2text model: G2T for RQ2

l Metaphor Generation
基本可控短文本生成：
Item (attributes)-> description：

Token(word) -> text : 给词造句（属性正确 for RQ1）：

Graph（KG） -> text ： 规划造句（逻辑正确 for RQ2）:

Word2text model: PKM
Definition：给出关键词，生成描述文本。

Baseline：BART Pros. 大规模预训练生成，good in scalability；Cons. Poor in keyword acc。

Proposed model:：PKM BART+keyword masking+keyword loss

Dataset：300w 全行业标定文案

实验结果：

Word2text model: PSCN
Definition：给出关键词，生成描述文本

Baseline：PKM Cons. 缺乏对混合语义/隐含语义关键词的控制

Proposed model:：PSCN PKM+孪生隐含控制词编码器+attention on 隐含控制隐变量

Dataset：Lexical Linguistic Controlled Product Description dataset，12149个items。

实验结果：

KG2text model: G2T

利用给定的子图结构，生成对应的描述文案：

在AGENDA数据集和DuIE数据集上的结果：


修辞生成Metaphor Generation：

Definition：给出本体和喻体，生成比喻句。

Proposed model: MeGTSC 基础BART+cave续写解释

Dataset：3w 标定的比喻句

实验结果：

MixPoet：当前诗歌生成领域的SOTA模型。

S_1^R：Data2Text领域SOTA模型。

XGeneration-NLG：
on 商品展示介绍：手淘首页海报文案、淘宝直播助理/虚拟主播。

on 对话机器人：店小蜜售前导购、天猫精灵天气播报/音乐推荐、盒马/优酷/…/智能客服

3.新媒体探索
XGeneration-Video：

l 短视频脚本生成

l 短视频智能剪辑

短视频脚本生成
短视频制作中30%的制作时间是用于脚本创作，10人团队中2人负责脚本创作。自动生成/辅助生成脚本可以极大提效视频内容生产。


方案：给定商品，利用其主要属性/POI，做层次解码，先解码出分镜，再解码出每个分镜的台词。

核心技术贡献：

属性+知识分离编码+串流解码 ：提高低频知识的利用率；

解码器内增加句子级别结构控制：保证语句之间逻辑顺畅。

效果：

合理性：80+%，通顺性：80+%，食品行业覆盖率：90+%；

脚本采纳率为64%，商家使用后反馈的主观评分为6~7分（满分10分）；

年货节创意中心短视频制作时间节省60%；

公域视频通过率98.6%；

2021天猫年货节中累计投放4772条视频，累计观看时长超过2275+个小时。

短视频智能剪辑

关键技术：

1. 痛点/卖点生成 2.多模态检索

效果：相比于（商家制作的）商品主视频，平均VV提升100%，3S播放率提升7%，引导成交笔数、单笔/总金额均达到2倍以上提升。

4. 总结
一个问题：电商内容再生产问题

两个方案：NLG实践（RQ1,RQ2） + 新媒体探索（脚本+短视频）