1. 背景
内容的再生产:能否自动/半自动 对商家的商品广告/媒体内容进行再生产?以满足平台运营的需要。
XGeneration是:
-
自动化程度高,对商家运营要求低
-
适配多种电商场景的内容再生产解决方案
3. 电商NLG实践
XGeneration-NLG:
l 基本可控短文本生成:RQ1,RQ2
l Word2text model: PKM, PSCN for RQ1
l KG2text model: G2T for RQ2
l Metaphor Generation
基本可控短文本生成:
Item (attributes)-> description:
Token(word) -> text : 给词造句(属性正确 for RQ1):
Graph(KG) -> text : 规划造句(逻辑正确 for RQ2):
Word2text model: PKM
Definition:给出关键词,生成描述文本。
Baseline:BART Pros. 大规模预训练生成,good in scalability;Cons. Poor in keyword acc。
Proposed model::PKM BART+keyword masking+keyword loss
Dataset:300w 全行业标定文案
实验结果:
Word2text model: PSCN
Definition:给出关键词,生成描述文本
Baseline:PKM Cons. 缺乏对混合语义/隐含语义关键词的控制
Proposed model::PSCN PKM+孪生隐含控制词编码器+attention on 隐含控制隐变量
Dataset:Lexical Linguistic Controlled Product Description dataset,12149个items。
实验结果:
KG2text model: G2T
利用给定的子图结构,生成对应的描述文案:
在AGENDA数据集和DuIE数据集上的结果:
修辞生成Metaphor Generation:
Definition:给出本体和喻体,生成比喻句。
Proposed model: MeGTSC 基础BART+cave续写解释
Dataset:3w 标定的比喻句
实验结果:
MixPoet:当前诗歌生成领域的SOTA模型。
S_1^R:Data2Text领域SOTA模型。
XGeneration-NLG:
on 商品展示介绍:手淘首页海报文案、淘宝直播助理/虚拟主播。
on 对话机器人:店小蜜售前导购、天猫精灵天气播报/音乐推荐、盒马/优酷/…/智能客服
3.新媒体探索
XGeneration-Video:
l 短视频脚本生成
l 短视频智能剪辑
短视频脚本生成
短视频制作中30%的制作时间是用于脚本创作,10人团队中2人负责脚本创作。自动生成/辅助生成脚本可以极大提效视频内容生产。
方案:给定商品,利用其主要属性/POI,做层次解码,先解码出分镜,再解码出每个分镜的台词。
核心技术贡献:
属性+知识分离编码+串流解码 :提高低频知识的利用率;
解码器内增加句子级别结构控制:保证语句之间逻辑顺畅。
效果:
合理性:80+%,通顺性:80+%,食品行业覆盖率:90+%;
脚本采纳率为64%,商家使用后反馈的主观评分为6~7分(满分10分);
年货节创意中心短视频制作时间节省60%;
公域视频通过率98.6%;
2021天猫年货节中累计投放4772条视频,累计观看时长超过2275+个小时。
短视频智能剪辑
关键技术:
- 痛点/卖点生成 2.多模态检索
效果:相比于(商家制作的)商品主视频,平均VV提升100%,3S播放率提升7%,引导成交笔数、单笔/总金额均达到2倍以上提升。
4. 总结
一个问题:电商内容再生产问题
两个方案:NLG实践(RQ1,RQ2) + 新媒体探索(脚本+短视频)