海思芯片MPP模块——视频缓存池机制介绍

1、前言

本文是根据hi3518ev200芯片的SDK包中MPP手册进行讲解，如果想要通过第一手资料了解更多细节，请自行阅读《HiMPP IPC V2.0 媒体处理软件开发参考.pdf》；

2、海思芯片视频流业务处理流程

(1)视频输入：视频的来源有两个，分别是从摄像头传输和将视频文件解码；
(2)视频处理：VPSS（ Video Process Sub-System）是海思芯片里对图像进行处理的单元；
(3)视频编码：VENC是对视频进行编码处理，现在常用的是H264和H265格式，编码好后通过网络发送出去，或者存储到flash中保存起来；
(4)视频输出：VO一般是把视频输出到屏幕；

3、海思芯片音频流业务处理流程

(1)音频输入：从麦克风采集；
(2)音频编码：将视频数据编码成不同的格式；
(3)音频解码：将音频数据解码成喇叭能播放的格式；
(4)音频输出：通过喇叭播放声音；

4、视频缓存池介绍

(1)一组大小相同、物理地址连续的缓存块组成一个视频缓存池。上图中有两个视频缓存池A、B，每个视频缓存池中包含n个缓存快，同一个缓存池中的缓存块是大小相等、地址连续的内存；
(2)当VI模块采集到一帧图像，从缓存池B中申请到Bm缓存块用于保存图像；
(3)VI模块将图像数据Bm传递给VPSS模块；
(4)VPSS接收到图像数据Bm后，经过处理得到三路图像，也就是由一帧图像得到三帧不同的图像，每帧图像申请一个缓存块来保存，分别是Bi、Bj、Bk，原始图像Bm不再需要，所以将Bm还给视频缓存池B；
(5)三路图像分别传给三个视频处理模块，模块使用完后都归还给视频缓存池B，如此循环使用；

5、视频缓存池机制浅析

(1)视频缓存池就是海思芯片内部管理内存的一套机制，这些内存是海思芯片独立管理，和linux系统管理的内存是独立的，所以申请内存缓存池中的内存需要使用海思海思提供的接口，不能使用linux系统提供的接口；
(2)从逻辑上来看，是缓存块在各个视频处理模块直接流转，实际上只是传递视频缓存块的指针，这样可以避免大量的内存复制；

6、初始化视频缓存池

(1)海思MPP模块提供初始化视频缓存池、获取/释放VB块的接口，接口的具体用法查看MPP手册；
(2)根据业务的不同，决定公共缓存池的数量、缓存块的大小和数量；
(3)比如：设备的摄像头是1080P，每帧原始图像的数据占1080x1920x3个字节，把每个视频缓存块的大小设置成1080x1920x3个字节就刚好；
(4)如果设备有几路不同分辨率的图像，则可以创建多个视频缓存池，每个缓存池中VB块的大小根据图像的分辨率来确定；
(5)具体每个缓存池创建几个缓存块，理论上越多越好，但是需要考虑不能超过MMZ的总大小；

7、绑定的概念

(1)VB块在各个视频处理单元之间流程，其中传递分为两种方式，一种是绑定通道自动进行传递，一种是手动进行传递；
(2)MPP 提供系统绑定接口（ HI_MPI_SYS_Bind），即通过数据接收者绑定数据源来建立两者之间的关联关系（只允许数据接收者绑定数据源）。绑定后，数据源生成的数据将自动发送给接收者;
(3)假设视频采集模块(VI)到视频直接送到视频播放模块(VO)进行播放，如果调用绑定接口将VI和VO绑定起来，则VI采集到的数据在海思内部会自动送到VO模块；如果没有采用绑定方式，则应用代码从VI获取到视频帧，然后调用send接口发送到VO模块；
(4)采用绑定方式，则VB传递很方便，上层不用操心；但是因为是海思底层直接将数据帧传送到下一模块，所以上层不能在传递视频帧到下一模块前进行处理；

8、mmz内存介绍

(1)视频缓存池是海思芯片内部管理内存的一套机制。处理视频是需要大量内存的，海思芯片媒体业务需要的内存是海思内部自己管理的，和linux管理的内存是独立的，在加载海思驱动的时候需要告诉海思芯片，分配给海思芯片内存的大小和地址范围；
(2)关于mmz内存参考博客：《设置海思芯片MMZ内存、OS内存详解》、
《海思芯片查看系统内存和mmz内存的命令》；