电商视频多模态商品定位系统_电商视频理解模型-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/137604660

本文是阿里巴巴达摩院视觉实验室潘攀博士团队在电商视频场景中商品定位系统的一次应用落地。如今，电商场景的购物直播和短视频呈爆炸式增长。然而，卖家需要手动将商品图像与视频中展示时间段进行匹配，过程十分复杂。为了解决这个问题，多模态商品定位系统“时尚看点”应运而生，能够准确地定位直播视频中的主播展示商品的时间段作为看点。视觉内容、语言特征和交互上下文通过多模态学习被联合建模。系统实现视频内容结构化和多模式检索两个算法模块，自动完成视频与商品的精确匹配。“时尚看点”在消费者观看视频过程中引导其关注对应商品讲解，也可以通过搜索和推荐帮助卖家有效地投放商品内容。

在这里插入图片描述

1. 背景

在电商平台上，通过直播和短视频来购物越来越流行。消费者会在观看视频的过程中购买自己喜爱的商品。特别地，在直播过程中，卖家会展示、介绍、讲解上百种商品。如果客户想要购买正在讲解的商品，需要从相关联的商品列表中手动选择，会极大地影响购买效率和消费体验。因此，根据视觉、解说以及交互的内容自动定位出相应商品讲解片段，并向消费者推荐相应的商品，具有很高的价值。这样在观看视频的过程中，用户的购物体验也将会大大提升。由于展示商品的视角多样，前台及背景商品干扰等，传统视觉搜索方法在这种商品定位问题上效果不佳。准确识别视频流中的商品也面临着训练数据不充分的局限性。为了弥补匹配信息的不足，伴随视频的解释性音频和交互性评论，能够补充丰富的上下文信息。因此，利用可视化CNN模型、自动语音识别（ASR）和自然语言处理（NLP）工具从多种模态中提取特征，可以帮助在实时视频流中精确定位商品片段。

2. 系统框架

在“时尚看点”系统中，商品图像列表和实时视频流为系统输入，商品匹配的时间段作为看点输出。上图展示了该系统在直播平台的工作流程，主要涉及搭建两个算法模块：视频内容结构化和多模态检索。

内容结构化

这里内容结构化旨在未剪辑的视频提取出商品轨迹的实例。为了获取准确且稳定的商品轨迹，我们对视频中商品对象联合检测和跟踪，利用高效的One-stage Tracker生成轨迹候选，采用DLA-34骨干网络学习具有检测、表观和跟踪分支的一体化商品检测跟踪器，兼顾高精度且保持较高的速度。商品检测精度虽然可以满足需求，小尺度商品识别仍然存在严重的长尾问题。针对此，我们设计了一种层次化商品识别方法，有效地降低识别模糊度。

多模态检索

为了保证检索质量和计算效率，我们采用联合视觉-语言的多模态紧凑表征检索方案，通过轨迹到图像的度量学习，利用三元组约束提高检索准确度。同时，通过ASR将音频转换成文本，使用多模态的Transformer模型提取语言特征。此外，我们挖掘视频相关的评论和标题，用来进一步补充语言数据。通过多模态视觉和语言的融合，模型可以学习到统一的紧凑表征，来计算视频流和商品图像的相关性，从而极大地提高了商品图像的召回率。整个系统还需要为海量视频提供实时在线服务，我们构建了一套包含解码、索引和定位的流媒体视频处理引擎。下图展示了系统的可视化结果，(A)轨迹结构化结果，(B)商家端挂品接口，©消费端商品投放接口。

在这里插入图片描述

3.实验

系统在包含多个电商类目（衣服、包等）的直播视频上做商品定位的实验。每个直播持续时间约为5-7小时，采用召回率作为评价指标。“时尚看点”采用轨迹候选和多模态特征（Mlt_Trk）取得了最好的对比效果，验证了商品定位的优越性能。

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述