产品分享｜百度智能云旗下，作为“行业首创”的媒体内容分析MCA是什么

前言

在新媒体时代，视频能够通过图像、声音和文字等多模态直观地传递信息，在互娱社交、教育营销等千行百业都发挥着重要作用。因此，快速提取视频中的有效信息，不仅有利于理解和优化媒体内容，还能为用户提供更优质的使用体验。

今天要介绍的产品，原名为视频内容分析 VCA（Video Content Analysis），后更名为媒体内容分析 MCA（Media Content Analysis）。大家可能对视频内容分析(Video Content Analysis, VCA)并不陌生，它是一种利用计算机视觉、图像处理和机器学习技术，对于视频流中的对象、行为和场景进行识别、跟踪和分析的方法。百度智能云媒体内容分析 MCA 是一款基于多维 AI 技术的计算型产品，也是国内最早基于视频内容理解的分析技术。

一、背景介绍

1.媒体内容分析的重要性

传统的搜索系统主要依赖于关键词匹配，通过比较查询关键词和文档中的词汇来找到相关内容。可是，由于词汇的歧义性和复杂性，关键词匹配往往无法全面覆盖相关内容，导致搜索结果不够准确和全面。关键词匹配很难理解查询内容的含义，无法为用户提供更加精准的搜索结果。

在传统的推荐系统中，内容推荐通常基于用户的历史行为和偏好。例如，根据用户的浏览历史、购买记录、点赞等行为，系统会推荐相关的内容给用户。但这种方式无法理解内容的本质和价值，会导致推荐的内容缺乏准确度和深度，从而带来信息茧房。此外，基于用户历史行为和偏好的推荐容易受到用户个人偏见和情感因素影响，无法为用户提供更加客观和全面的内容推荐。

除了基础的搜索和推荐，如何在视频封面上做文章，怎么快速提取视频中的高光片段，利用时间差和优质内容来吸引用户点击、提高访问时长，是所有开发者无法回避的问题。

百度智能云“首创”媒体内容分析功能，为视频、图片、直播打标签，输出丰富的结构化标签信息，生成智能封面、提取高光片段，有利于帮助平台提高 DAU、留存率和转化率，用 AI 技术为千行百业赋能。这已经成为当前人工智能领域的发展趋势。

2.媒体内容分析的应用领域

广电媒体：用于媒资编目、内容检索、内容推荐等场景。可捕捉整段视频中最能体现核心内容、画面美观度较高的图片或高光片段，用于创作视频集锦或用作视频封面。

互娱社交：有效解决新视频冷启动的推荐问题，实现个性化的精准推荐。解决视频或图片缺乏关键词而无法露出或检索的问题，从而有效增加视频曝光，实现业务转化。

营销机构：对营销物料的 logo、场景、关键词进行分析，帮助广告主将营销物料分类，并对不同分类广告的点展数据进行复盘，提升投放效果。也可对博主发布的内容进行分析，将博主根据风格聚类，帮助广告主找到更适合品牌调性的博主进行广告投放。

教育机构：提取课堂、课程关键词，建立课程关联关系，帮助企业完成对课程内容的梳理、分发及归档。

除了上述四个主要领域，还有更多其他的领域正在接入媒体内容分析MCA。

二、核心功能拆解

MCA 借助百度积累的海量级数据，针对视频场景进行声音、人脸、图像、文字多维度分析，可以达到最优的识别效果，输出内容的泛标签，帮助平台实现个性化内容推荐，提升用户检索体验，促使业务有效转化。除了强大的视频、图片标签输出能力外， MCA 还提供智能封面、精彩视频片段选取等功能，可在视频创作、视频分发等场景，为创作者提供更便捷、更高效的创作体验。

标签能力类型	描述
视频分类	基于对视频语音和图像的综合分析，对视频内容理解后形成分类标签，可应用于视频素材分类场景。
知识图谱	基于影视、综艺诗词等各垂类知识图谱，结合知识计算、推理技术，联想出与媒资高度相关的标签。
关键词提取	基于语音识别和文本识别技术，针对视频语音、字幕、标题、弹幕等内容获取内容关键词信息。
Logo 识别	识别视频节目中出现的 logo，如车标、台标等标识，可用于影视剧、综艺等节目素材分析。
公众人物识别	基于百度人脸识别技术和丰富全面的公众人物库，识别视频中出现的明星、名人，以及人物出现的时间位置和区域等信息。
视频细粒度识别	针对垂直领域单独建模，精细化识别视频中出现的物体种类、型号和详细特征，如视频中的人体属性特征、交通工具等。

1.智能视频标签

为视频文件或直播流的内容打标签，可输出视频的场景、公众人物、地点、实体和关键词等结构化标签信息。

2.智能图片标签

对图片内容进行打标签，可输出图片中公众人物、logo、实体和关键词等结构化标签信息。

3.智能封面

通过对视频、图像等内容理解，从图像清晰度、构图美学和精彩程度等方面分析，生成视频的静态封面、动态封面、视频封面。

4.精彩视频分析

通过场景切分、音频特征分析等技术，提取影视综长视频中的高光时刻。

对比人工浏览视频内容标注出的视频标签，使用媒体内容分析 MCA 分析效率可提升 3~5 倍，结构化标签数量提升了 10 倍左右。MCA能够准确地描述视频中的细节内容，提升视频搜索的搜全率，并将新热视频快速展现到推荐页面中。

三、概念阐释

1.智能搜索系统

视频和直播通过媒体内容分析 MCA 获得结构化标签，并将其推送到视频检索系统，应用于企业版度秘、搜索系统、编目系统提升搜索的搜全率。

2.智能推荐系统

视频和直播通过媒体内容分析 MCA 获取结构化标签，推送至视频推荐系统中，用于个性化推荐及相关性推荐。

3.全维度分析

媒体内容分析 MCA 为用户预设了丰富的系统模板，用户可以在语音、文字、人脸、LOGO、物体、实体和场景识别等多个维度进行视频分析，对于希望使用全维度分析能力的用户来说，是最佳的选择。

4.公众人脸库

公众人物，是指在一定范围内拥有特殊社会地位，具有重要影响，为人们所广泛知晓和关注，且能因此从社会中得到巨大利益，并与社会公共利益密切相关的人物。其社会知名度、社会地位、是否因此得到巨大的利益，和较长时间内影响社会公共利益等四个公众人物要件，缺一不可，共同体现了公众人物的特性。

基于百度百科的海量人脸数据，公众人脸库中包含了领导人、艺术家、影视明星、体育明星、社会活动家等数十万级别的国内外公众人物。

5.自定义人脸库

如果在公众人物库中不存在的人物，用户可以创建自定义人脸库，将所需识别的人物的照片加入到自定义人脸库中。其中加入人脸库中的每位人物照片数量不少于 5 张，且人脸在照片中的尺寸不低于 80*80 像素点。

6.自定义 LOGO 库

MCA 拥有丰富的 LOGO 预置底库，如果在预置底库中不存在的 LOGO，用户可以创建自定义 LOGO 库，将所需识别的 LOGO 的图片加入到自定义 LOGO 库中。其中加入 LOGO 库中的每个 LOGO 图片数量不少于 5 张。

7.对象存储 BOS

目前，MCA 可以处理存储在BOS 上的视频等文件。 对象存储 BOS (Baidu Object Storage)提供稳定、安全、高效以及高扩展存储服务，支持单文件最大 5TB 的文本、多媒体、二进制等任何类型的数据存储。数据多地域跨集群的存储，能实现资源统一利用，降低使用难度，提高工作效率。

8.音视频点播 VOD

除了分析 BOS 上的文件，MCA 还支持对接 VOD 点播平台上的媒资文件。音视频点播VOD (Video On Demand) 是百度智能云提供的面向音视频点播的 PaaS (Platform as a Service) 服务平台，为开发者提供音视频文件的存储、管理及播放服务。

9.百度智能推荐

百度智能推荐 BRS（Baidu Recommendation Service）基于机器学习技术，从海量数据中深入挖掘用户行为及业务特征，针对不同场景提供实时、精准的推荐服务。

四、API 参考

百度智能云 MCA 为需要单维度或多维度分析视频的用户，提供了可定制化的转码模板，支持多种部署形态，包括公有云 API 调用、私有化本地部署、混合云部署，可以根据客户业务需求采取最优部署方式。

本文主要介绍 MCA 的 API 相关规则，更多详细信息可以关注后续的文章。

1.系统限制

视频要求

• a.时长 6 小时以内；
• b.分辨率需大于等于 30x30。

编码风格

• 所有 HTTP API 均为 REST 风格。

日期与时间

日期与时间的表示有多种方式。为统一起见，除非约定俗成或有相应规范，凡是 HTTP 标准中规定的表示日期和时间字段用 GMT，其他日期时间表示的地方一律采用 UTC 时间，遵循 ISO 8601，并做以下约束：

• 表示时间一律采用hh:mm:ss方式，并在最后加一个大写字母Z表示UTC时间。例如23:00:10Z表示UTC时间23点0分10秒。
• 凡涉及日期和时间合并表示时，在两者中间加大写字母T，例如2014-06-01T23:00:10Z表示UTC时间2014年6月1日23点0分10秒。

2.以“视频分析接口”为例的API参考

MCA API 支持 HTTP 和 HTTPS 两种调用方式。为了提升数据的安全性，建议通过 HTTPS 调用。

提交视频分析

用户提供视频路径，创建一次视频分析。

• 视频路径支持BOS、VOD、HTTP(S) URL路径；

• 正在分析中的视频无法再次进行分析；判断相同视频的依据是视频路径source，和视频内容无关；

• 已经分析过的视频（FINISHED/ERROR）可以重新进行分析；

• 视频重新分析会覆盖上次分析结果；

• 视频分析任务为异步处理模式，如果想要获取分析结果：可以设置回调参数notification，则分析完成之后会将分析结果自动回调通知notification关联的地址；也可以通过接口查询视频分析结果来实时获取。

请求语法：

PUT /v{version}/media HTTP/1.1

host: vca.bj.baidubce.com

authorization: <bce-authorization-string>

content-type: application/json

请求示例：分析BOS类型媒资

PUT /v1/media HTTP/1.1

host: vca.bj.baidubce.com

content-type: application/json

authorization: <bce-authorization-string>

{

"source": "bos://samplebucket/sample.mp4", // 也支持图片bos://demobucket/demo.jpg

"preset": "customer_preset_name",

"notification": "customer_notification_name"

}

响应示例：分析 BOS 类型视频响应

HTTP/1.1 200 OK

{

"source": "bos://samplebucket/sample.mp4",

"preset": "customer_preset_name",

"status": "PROVISIONING",

"percent": 0,

"createTime": "2018-10-09T08:05:58Z"

}

查询视频分析结果

根据视频路径查询分析结果。如果有重复分析，则返回最近一次分析的结果。

• 视频分析结果最长暂存30天，超过30天后会自动删除，无法查询；

• 视频分析结果涉及的“http(s)地址”字段（例如对于人脸标签，同级可能会提供的人脸图片地址字段faceUrl和人脸所在抽帧地址字段image）均带有鉴权，且鉴权有效时间为从发起请求开始6小时范围内；如果要对人脸图片地址等进行转储，需要在鉴权有效时间内完成；超过该时间段则建议重新获取视频分析结果，从而可以重新获取鉴权有效的“http(s)地址”。

请求语法：

GET /v{version}/media HTTP/1.1

host: vca.bj.baidubce.com

authorization: <bce-authorization-string>

content-type: application/json

请求示例：查询 BOS 视频分析结果

GET /v1/media?source=bos%3a%2f%2ftestbucket%2fdir%2fvideo.mp4 HTTP/1.1

host: vca.bj.baidubce.com

content-type: application/json

authorization: <bce-authorization-string>

查询视频分析中间任务结果

MCA 对视频的分析过程，会涉及很多中间任务的执行。发起视频分析时选用的分析模板定义了需要执行的中间任务集合。只有当视频分析成功时才可以查询中间任务结果。

根据视频路径查询指定类型的中间任务分析结果。

• 视频分析中间任务结果最长暂存30天，超过30天后会自动删除，无法查询；

• 只有任务分析完成，且在30天内时可以查询到分析结果，否则查询时会抛出异常，异常信息会告知当前任务分析状态；

• 视频分析中间任务结果涉及的“http(s)地址”字段（例如当type=character时的视频抽帧地址字段image、当type=human_attribute时的视频抽帧地址字段image_url）均带有鉴权，且鉴权有效时间为从发起请求开始6小时范围内；如果要对视频抽帧地址等进行转储，需要在鉴权有效时间内完成；超过该时间段则建议重新获取中间结果，从而可以重新获取鉴权有效的“http(s)地址”。

请求语法：

GET /v{version}/media/<type>?source={source} HTTP/1.1

host: vca.bj.baidubce.com

authorization: <bce-authorization-string>

content-type: application/json

请求示例：

GET /v2/media/speech?source=vod%3a%2f%2fmda-fhepatsnpn4rk9z HTTP/1.1

host: vca.bj.baidubce.com

content-type: application/json

authorization: <bce-authorization-string>

任务分析成功时响应示例：type=character

HTTP/1.1 200 OK

{

"source": "vod://mda-fhepatsnpn4rk9z",

"type": "character"

"status": "FINISHED",

"result": "[{\"timestamp\":2,\"image\":\"http://bj.bcebos.com/bucket-0/-0a6d8a381e500b89c54b9c1708377927/thumbnail/thumbnail_1s00002.jpg?authorization=bce-auth-v1%2F16f624e4866c485d9b06cb20549edbc2%2F2023-02-15T02%3A51%3A50Z%2F21600%2Fhost%2F059dae5b67328a5d411bc0dfe019350ccc560f3f8c96e04813a0c3005367e9ab\",\"words\":[{\"word\":\"今天要下雨\",\"rect\":{\"leftOffsetInPixel\":220,\"topOffsetInPixel\":112,\"widthInPixel\":198,\"heightInPixel\":42},\"confidence\":0.99}]}]"

}

取消视频分析

只有状态处于预处理的视频可以进行取消。

请求语法：

PUT /v{version}/media HTTP/1.1

host: vca.bj.baidubce.com

authorization: <bce-authorization-string>

content-type: application/json

请求示例：

PUT /v1/media?source=bos%3a%2f%2ftestbucket%2fdir%2fvideo.mp4&cancel HTTP/1.1

host: vca.bj.baidubce.com

content-type: application/json

authorization: <bce-authorization-string>

响应示例：

HTTP/1.1 200 OK

五、未来发展趋势

随着技术不断发展，视频、图片的创作、分享和传播变得更快捷，内容也更加丰富多样。是否可以在海量信息中精准筛选、推荐有价值的内容，将会成为平台健康、稳定发展的关键因素。

媒体内容分析MCA正在扮演一个重要的角色，帮助企业提高内容分析的效率，缩减平台的人力成本，助力内容推荐和搜索业务的发展。同时，MCA创新性地推出智能封面、高光片段等功能，助力平台轻松进行内容创作。

MCA还有很多功能等待被开发和探索，大家可以期待后续的文章。