海思MPP功能模块、视频缓存池简介

一、MPP功能模块

1、MPP功能模块(MPP,media process platform,媒体处理平台)

(1)MPP手册:\01.software\board\document_cn目录下的《HiMPP IPC V2.0 媒体处理软件开发参考.pdf》

(2)详见MPP手册的系统概述1.3部分。

  • 以ko和api形式提供,和驱动处于同一层次。
  • 处理流程主要分为视频输入(VI)、视频处理(VPSS)、视频编码(VENC)、视频解码(VDEC)、视频输出(VO)、视频侦测分析(VDA)、音频输入(AI)、音频输出(AO)、音频编码(AENC)、音频解码(ADEC)、区域管理(REGION)等模块。
  • VI 模块捕获视频图像,可对其做剪切、缩放等处理,并输出多路不同分辨率的图像数据。
  • 解码模块对编码后的视频码流进行解码,并将解析后的图像数据送 VPSS 进行图像处理或直接送 VO 显示。可对H264/MPEG4/MPEG2 格式的视频码流进行解码。
  • VPSS 模块接收 VI 和解码模块发送过来的图像,可对图像进行去噪、图像增强、锐化等处理,并实现同源输出多路不同分辨率的图像数据用于编码、预览或抓拍。
  • 编码模块接收 VI 捕获并经 VPSS 处理后输出的图像数据,可叠加用户通过 Region模块设置的 OSD(水印信息)图像,然后按不同协议进行编码并输出相应码流。
  • VDA 模块接收 VI 的输出图像,并进行移动侦测和遮挡侦测,最后输出侦测分析结果。
  • VO 模块接收 VPSS 处理后的输出图像,可进行播放控制等处理,最后按用户配置的输出协议输出给外围视频设备。

2、使用SI软件,把MPP文件夹倒入,从例子sample_venc.c文件中的SAMPLE_VENC_1080P_CLASSIC函数开始看

PAYLOAD_TYPE_E(传输的格式类型是什么)

PIC_SIZE_E(图像分辨率大小)

VB_CONF_S(视频缓存池)

 

二、视频缓存池

1、概念

(1)视频缓存池(VB,video buffer),是一段用于暂存视频数据、进行运算的内存。

(2)视频的裁剪、缩放、修正处理等各种操作,本质上是对内存中的数据进行运算。

(2)视频缓存池的内存由MPP来维护

  • 系统启动时,把整个SDRAM分成2部分:系统部分(由linux kernel来维护管理)和mpp部分(由mpp系统来维护管理)

(4)缓存池的数量,缓存块的数目和大小,可以由用户程序设置好参数,调用MPP的相应API来向MPP申请分配。

 

2、相关的数据结构和API

VB_CONF_S  结构体

HI_MPI_VB_SetConf API函数

HI_MPI_VB_Init         API函数

已标记关键词 清除标记
本课程讲解sensor直接采集的图像都有各种不理想性,因此在编码前都会经过一个软件方式处理,这个处理就叫ISP,图像的IQ调试就是研究这些处理算法和实现的。常见的IQ调试技术如:线性纠正、噪声去除、黑电平校正、坏点去除、颜色插补、Gamma 校正、RGB2YUV 转换、主动白平衡处理、主动曝光控制、AE评估等。 随着通信行业发展,网速越来越快,网络也从文本时代发展越过语音时代到了现在视频时代,“优酷、爱奇艺”、“微视频”、“直播”等的出现也是视频逐步成为主流媒体的证据和表现。航拍、视频监控、刷脸过关检测、汽车ADAS系统等应用也是视频在主流行业中的应用,因此视频的采集、编解码、传输、识别等技术变得越来越有价值,涌现出了“海康威视”、“大华股份”、“深圳英飞拓”等一批明星企业,名扬海内外,动辄市值几百亿。同时在芯片级,国产华为海思HI35xx系列视频编解码方案也逐步取代进口芯片(如TI、安霸)成为主流方案。 视频行业技术含量高、难度大、学习周期长、发展变化快而资料少,因此行业比较缺人、工资较高。如海康威视,普通高校硕士研究生应届进入年薪普遍高于15-20万,在嵌入式linux领域也算高工资技术方向了。 本项目是朱老师及其团队推出的一个嵌入式linux领域重量级企业级实战项目,选用华为海思HI3518E方案,结合OV9712/AR0130 Sensor实现图像采集和H.264编码压缩,并通过ethernet和WIFI,以socket实时流和RTSP等方式,实现720P/960P高清视频传输。本项目共分11季,从海思SDK开发环境搭建,到sample程序讲解、SDK中API函数解析,到H.264编解码、RTSP流媒体传输、MP4文件打包,到图像IQ调试、图像识别等视频领域高阶内容,可以说从零基础入手,对图像采集、编解码、网络传输、图像存储和识别做了全方位的详细讲解和代码分析,是目前市面上**一套系统讲解图像和视频技术的视频课程。
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页