智能媒体管理(IMM)视频分析中明星识别介绍

一、导语

        智能媒体管理已经支持了视频分析功能，用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来提取视频中的明星信息。

二、功能介绍

        智能媒体管理的视频分析包含了明星识别功能，可以帮助用户抽取出视频中出现的明星信息。包括明星出现的时间戳，明星脸出现的位置，以及明星的名字及可信度。视频中明星识别不仅仅是对每一张图片中的明星进行识别，还进行了后续的分析处理，提高识别的准确率。

三、 功能实现

        基于智能媒体管理的视频功能，可以方便的对存储在oss上的视频进行分析、提取元信息。视频分析功能可以通过配置不同的分析器进行不同内容的分析。下面详细介绍如何利用智能媒体管理的视频分析功能来抽取视频中的明星信息。

        首先需要有阿里云的账号，并且开通IMM（智能媒体管理）功能，关于账号和开通IMM的功能请参考相关文章。

        创建一个 AllMedia 类型的 project，可以使用SDK或者在控制台创建。通过工单提出需要分析的类型，我们会配置好需要的功能。

        然后需要为改 Project 的使用的 ServiceRole 添加 AliyunIMMFullAccess 权限，添加方法请参考 RAM 相关文档。完成之后就可以提交视频进行分析。具体提交请参考 IMM 相关文档。等待视频分析完成就可以拿到明星的结果了。

四、效果展示

        如果使用了task模式分析视频，视频结果会记录在用户提供的oss目录内，是json格式的结构化数据，用户可以根据需要选取需要的信息。为了方便展示，IMM提供了一套展示功能，用户可以直接点击该链接浏览。效果如下：

        这里是一个应用展示，左侧是视频播放，右侧的人物是识别出的明星，点击某个明星的图像，在上面的时间条里面显示了该明星出现的时间戳信息，根据不同的置信度显示不同的颜色，绿色分值最高，将鼠标放在时间条上会显示时间戳和置信度信息。

        分析结果的主要结构如下：

{
  "Frames": [
    {
      "SourcePosition": "00000024.000",
      "ImageUri": "oss://drive-site/demo/hkdemo/data/Gongshoudao/imgs/24.000.jpg",
      "Celebritys": [
        {
          "CelebrityName": "马云",
          "CelebrityLibraryName": "Stars",
          "CelebrityConfidence": 0.9184891,
          "CelebrityBoundary": {
            "Width": 173,
            "Height": 222,
            "Left": 512,
            "Top": 440
          }
        }
      ]
    }
  ],
  "Meta": {
    "Width": 1280,
    "Height": 720,
    "Duration": 1343.042167,
    "Size": 167386498,
    "Frames": 32233
  }
}

        这里只显示了一帧的信息，除了明星还是可以识别政治人物和敏感人物等信息。

        明星信息可以在多种领域应用，视频分割、精彩剪辑、广告植入、推荐服务、隐私保护以及其他一些领域。

五、说明

       目前还是在公测阶段，AllMedia 类型的 project暂时无法创建出来，可以先创建一个其他类型的 Project，然后通过我们修改成 AllMedia 类型，后面正式上线之后会放开。