华为海思MPP媒体处理软件开发学习（基础）

1.系统概述

1.1概述

海思提供的媒体处理软件平台(Media Process Platform,简称 MPP)，可支持应用软件快速
开发。该平台对应用软件屏蔽了芯片相关的复杂的底层处理，并对应用软件直接提供
MPI（MPP Program Interface）接口完成相应功能。该平台支持应用软件快速开发以下
功能：输入视频捕获、H.265/H.264/JPEG 编码、H.265/H.264/JPEG 解码、视频输出显
示、视频图像前处理（包括去噪、增强、锐化）、图像拼接、图像几何矫正、智能、音
频捕获及输出、音频编解码等功能。

1.2系统架构

硬件层
硬件层由 Hi35xx 芯片加上必要的外围器件构成。外围器件包括 Flash、DDR
（Double Data-Rate）、视频 Sensor 或 AD、音频 AD 等。
操作系统层
基于 Linux 或 Huawei LiteOS 的 OS 系统。
操作系统适配层
提供操作系统系统调用基础函数，屏蔽操作系统差异，支持媒体处理平台运行在
不同的操作系统上，或相同操作系统不同版本。
媒体处理平台
基于操作系统适配层，控制芯片完成相应的媒体处理功能。它对应用层屏蔽了硬
件处理细节，并为应用层提供 API 接口完成相应功能。
其他驱动
除媒体处理平台外,海思为 Hi35xx 芯片的其他相关硬件处理单元提供了相应的驱动,
包括 CIPHER、RTC 等驱动。
应用层
基于海思媒体处理平台及其他驱动，由用户开发的应用软件系统

1.3海思媒体处理器平台架构

VI 模块捕获视频图像，可对其做剪切、去噪等处理，并输出多路不同分辨率的图
像数据。
解码模块对编码后的视频码流进行解码，并将解析后的图像数据送 VPSS 进行图
像处理，再送 VO 显示。可对 H.265/H.264/JPEG 格式的视频码流进行解码。
VPSS 模块接收 VI 和解码模块发送过来的图像，可对图像进行图像增强、锐化等
处理，并实现同源输出多路不同分辨率的图像数据用于编码、预览或抓拍。
编码模块接收 VI 捕获并经 VPSS 处理后输出的图像数据，可叠加用户通过 Region
模块设置的 OSD 图像，然后按不同协议进行编码并输出相应码流。
VO 模块接收 VPSS 处理后的输出图像，可进行播放控制等处理，最后按用户配置
的输出协议输出给外围视频设备。
AVS 接收多路 VI 采集的图像，进行拼接合成全景图像。
AI 模块捕获音频数据，然后 AENC 模块支持按多种音频协议对其进行编码，最后
输出音频码流。
用户从网络或外围存储设备获取的音频码流可直接送给 ADEC 模块，ADEC 支持
解码多种不同的音频格式码流，解码后数据送给 AO 模块即可播放声音。

2.系统控制

2.1概述

系统控制根据 Hi35xx 芯片特性，完成硬件各个部件的复位、基本初始化工作，同时负
责完成 MPP（Media Process Platform 媒体处理平台）系统各个业务模块的初始化、去
初始化以及管理 MPP 系统各个业务模块的工作状态、提供当前 MPP 系统的版本信
息、提供大块物理内存管理等功能。
应用程序启动 MPP 业务前，必须完成 MPP 系统初始化工作。同理，应用程序退出
MPP 业务后，也要完成 MPP 系统去初始化工作，释放资源。

2.2功能描述

2.2.1视频缓冲池

所有的视频输入通道都可以从公共视频缓存池中获取视频缓存块用于保存采集的图像，如图 2-1 中所示 VI 从公共视频缓存池 B 中获取视频缓存块 Bm,缓存块 Bm 经 VI发送给 VPSS，输入缓存块 Bm 经过 VPSS 处理之后被释放回公共视频缓存池。假设VPSS 通道的工作模式是 USER，则 VPSS 通道 0 从公共视频缓存池 B 中获取缓存块 Bi作为输出图像缓存 buffer 发送给 VENC，VPSS 通道 1 从公共视频缓存池 B 中获取缓存块 Bk 作为输出图像缓存 buffer 发送给 VO，Bi 经 VENC 编码完之后释放回公共视频缓存池，Bk 经 VO 显示完之后释放回公共视频缓存池。

2.2.2系统绑定

MPP 提供系统绑定接口（HI_MPI_SYS_Bind），即通过数据接收者绑定数据源来建立
两者之间的关联关系（只允许数据接收者绑定数据源）。绑定后，数据源生成的数据将
自动发送给接收者。

2.2.3VI和VPSS的工作模式

VI 和 VPSS 各自的工作模式分为在线，离线，并行模式。