海思多媒体(MPP)开发(9)——视频遮挡和运动检测

已于 2022-08-30 14:13:01 修改
阅读量4.4k 收藏 26
点赞数 3
分类专栏： 海思多媒体平台MPP 文章标签： 视频遮挡 运动检测 视频侦测 视频分析 海思mpp
于 2020-03-31 22:09:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_wen01/article/details/105217917
版权

前言：

    海思多媒体处理平台(MPP)分为：视频输入(VI),视频处理(VPSS),视频编码(VENC),视频解码(VDEC),视频输出(VO)、视频侦测分析(VDA),音频输入(AI),音频输出(AO),音频编码(AENC),音频解码(ADEC),区域管理(REGION）等模块. 这里介绍视频侦测分析(VDA)中的运动检测。

视频侦测分析(The video detection analysis VDA)通过检测视频的亮度变化，得出视频侦测分析结果。VDA 包含运动侦测(motion detection (MD))和遮挡检测(occlusion detection (OD))两种工作模式，视频侦测分析结果也由当前工作模式区分为运动侦测结果和遮挡检测结果：

  • 运动侦测（MD）侦测 VDA 通道接收的视频的运动状态，并输出运动侦测结果。包含每帧图像的宏块 SAD 值信息、运动区域（OBJ）信息和整帧报警像素个数。
  • 遮挡检测（OD）检测 VDA 通道接收的视频是否出现被遮挡现象，并输出遮挡检测结果。

关于视频遮挡和运动检测的详细参数，可以查看文档《HiMPP V3.0 媒体处理软件开发参考》
在海思官方给的mpp sample中，vda模块的代码它是使用一个h264视频流来模拟数据流。为了测试其准确性，在本文中使用VI中的数据数据流来进行测试。

测试：

我使用的是720P摄像头，所以VI输入的分辨率是1280*720;但是vda模块的最大输入分辨率是：960*960;所以在VPSS中我将720P的画面裁减成D1分辨率。VPSS 操作为：

/******************************************************** 
Function:    BIAO_VDA_StartVpss
Description: 开启VPSS
Input:  none
OutPut: none
Return: 0: success，none 0:error
Others: 
    这里对VI输入的视频数据进行裁剪操作
Author: Caibiao Lee
Date:   2020-02-02
*********************************************************/
HI_S32 BIAO_VDA_StartVpss(HI_S32 s32VpssGrpNum, HI_U32 u32VpssChn,PIC_SIZE_E enInputSize,PIC_SIZE_E enOutputSize)
{
    HI_S32 i = 0;
    HI_S32 s32Ret;
    HI_U32 u32Depth;
    VPSS_CHN_MODE_S stVpssChnMode;
    VPSS_GRP_ATTR_S stGrpAttr;
    HI_U32 u32OverlayMask;
    VPSS_CROP_INFO_S stCropInfo;

    if(PIC_HD720==enInputSize)
    {
        stGrpAttr.u32MaxW   = 1280;
        stGrpAttr.u32MaxH   = 720;
    }else
    {
        stGrpAttr.u32MaxW   = 720;
        stGrpAttr.u32MaxH   = 576;        
    }

    stGrpAttr.enPixFmt  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
    stGrpAttr.enDieMode = VPSS_DIE_MODE_NODIE;
    stGrpAttr.bIeEn     = HI_FALSE;
    stGrpAttr.bNrEn     = HI_FALSE;
    stGrpAttr.bHistEn   = HI_FALSE;
    stGrpAttr.bDciEn    = HI_FALSE;
    stGrpAttr.bEsEn     = HI_FALSE;

    for (i = 0; i < s32VpssGrpNum; i++)
    {
        s32Ret = HI_MPI_VPSS_CreateGrp(i, &stGrpAttr);
        if (HI_SUCCESS != s32Ret)
        {
            printf("creat vpss grp%d fail, s32Ret: 0x%x.\n", i, s32Ret);
            return s32Ret;

        }

        /**输入与输出不一致，开启裁减功能，将图像裁减成输出的分辨率**/
        if(enOutputSize!=enInputSize)
        {
            s32Ret = HI_MPI_VPSS_GetGrpCrop(i, &stCropInfo);
            if(s32Ret != HI_SUCCESS)
            {
                printf("Get Crop %d fail, s32Ret: 0x%x.\n", i, s32Ret);
                return s32Ret;
            }
            stCropInfo.bEnable = 1;
            stCropInfo.enCropCoordinate = VPSS_CROP_ABS_COOR;
            stCropInfo.stCropRect.s32X = 0;
            stCropInfo.stCropRect.s32Y = 0;

            if(PIC_D1==enOutputSize)
            {
                stCropInfo.stCropRect.u32Width = 720;
                stCropInfo.stCropRect.u32Height = 576;
            }else
            {
                stCropInfo.stCropRect.u32Width = 368;
                stCropInfo.stCropRect.u32Height = 288;         
            }

            s32Ret = HI_MPI_VPSS_SetGrpCrop(i, &stCropInfo);
            if(s32Ret != HI_SUCCESS)
            {
                printf("Set Crop %d fail, s32Ret: 0x%x.\n", i, s32Ret);
                return s32Ret;
            }

        }

        s32Ret = HI_MPI_VPSS_EnableChn(i, u32VpssChn);
        if (HI_SUCCESS != s32Ret)
        {
            printf("creat vpss grp%d chnl%d fail, s32Ret: 0x%x.\n", i, u32VpssChn, s32Ret);
            return s32Ret;
        }

        s32Ret = HI_MPI_VPSS_GetChnMode(i, u32VpssChn, &stVpssChnMode);
        if (HI_SUCCESS != s32Ret)
        {
            printf("get vpss grp%d chn%d mode fail, s32Ret: 0x%x.\n", i, u32VpssChn, s32Ret);
            return s32Ret;
        }
        
        stVpssChnMode.bDouble        = HI_FALSE;
        stVpssChnMode.enChnMode      = VPSS_CHN_MODE_USER;
        stVpssChnMode.enPixelFormat  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
        if(PIC_D1==enOutputSize)
        {
            stVpssChnMode.u32Width       = 720;
            stVpssChnMode.u32Height      = 576;
        }else
        {
            stVpssChnMode.u32Width       = 1280;
            stVpssChnMode.u32Height      = 720;
        }

        stVpssChnMode.enCompressMode = COMPRESS_MODE_NONE;
        
        s32Ret = HI_MPI_VPSS_SetChnMode(i, u32VpssChn, &stVpssChnMode);
        if (HI_SUCCESS != s32Ret)
        {
            printf("set vpss grp%d chn%d mode fail, s32Ret: 0x%x.\n", i, u32VpssChn, s32Ret);
            return s32Ret;
        }
        
        s32Ret = HI_MPI_VPSS_StartGrp(i);
        if (HI_SUCCESS != s32Ret)
        {
            printf("start vpss grp%d fail, s32Ret: 0x%x.\n", i, s32Ret);
            return s32Ret;
        }

        u32Depth = 6;
        s32Ret = HI_MPI_VPSS_SetDepth(i, u32VpssChn, u32Depth);
        if (HI_SUCCESS != s32Ret)
        {
            printf("HI_MPI_VPSS_SetDepth fail! Grp: %d, Chn: %d! s32Ret: 0x%x.\n", i, u32VpssChn, s32Ret);
            return s32Ret;
        }

        u32OverlayMask = 255;
        s32Ret = HI_MPI_VPSS_SetChnOverlay(i, u32VpssChn, u32OverlayMask);
        if (HI_SUCCESS != s32Ret)
        {
            printf("HI_MPI_VPSS_SetChnOverlay fail! Grp: %d, Chn: %d! s32Ret: 0x%x.\n", i, u32VpssChn, s32Ret);
            return s32Ret;
        }
    }

    return HI_SUCCESS;
}

视频遮挡整个流程可以按如下进行：


/******************************************************** 
Function:    BIAO_VDA_OD
Description: 开启遮挡检测
Input:  none
OutPut: none
Return: 0: success，none 0:error
Others: 
    绑定关系为：    VI->VPSS->vda
Author: Caibiao Lee
Date:   2020-02-02
*********************************************************/
HI_S32 BIAO_VDA_OD(HI_VOID)
{
    HI_S32 s32Ret = HI_SUCCESS;
    VDA_CHN VdaChn_Od = 1;
    SIZE_S stSize;
    MPP_CHN_S stSrcChn, stDesChn;  
    VDEC_SENDPARAM_S stVdesSendPram;
    VPSS_GRP_ATTR_S stGrpAttr;
    PIC_SIZE_E enSize = PIC_HD720; 
    PIC_SIZE_E VpssSize = PIC_D1; 
    VIDEO_NORM_E enNorm = VIDEO_ENCODING_MODE_PAL;
    SAMPLE_VI_MODE_E enViMode = SAMPLE_VI_MODE_2_720P;
    HI_S32 s32VpssGrpNum;
    HI_U32 u32VpssChn;

    /*************************************************
    step 1: mpp system init. 
    *************************************************/
    s32Ret = BIAO_VDA_SYS_Init(enSize,enNorm);
    if (HI_SUCCESS != s32Ret)
    {
        printf("system init failed! s32Ret: 0x%x.\n", s32Ret);
        goto END_0;
    }

    /******************************************
     step 2: start vi dev & chn
    ******************************************/
    s32Ret = SAMPLE_COMM_VI_Start(enViMode, enNorm);
    if (HI_SUCCESS != s32Ret)
    {
        SAMPLE_PRT("start vi failed!\n");
        goto END_1;
    }

    /*************************************************
    step 3: start vpss group and chn
    *************************************************/
    s32VpssGrpNum = 1;
    u32VpssChn    = VPSS_CHN2;
    s32Ret = BIAO_VDA_StartVpss(s32VpssGrpNum, u32VpssChn,enSize,VpssSize);
    if(HI_SUCCESS != s32Ret)
    {
        printf("SAMPLE_RGN_StartVpss failed! s32Ret: 0x%x.\n", s32Ret);
        goto END_2;
    }

    /*************************************************
    step 4: bind vi and vpss
    *************************************************/
    stSrcChn.enModId  = HI_ID_VIU;
    stSrcChn.s32DevId = 0;
    stSrcChn.s32ChnId = 0;

    stDesChn.enModId  = HI_ID_VPSS;
    stDesChn.s32DevId = 0;
    stDesChn.s32ChnId = u32VpssChn;

    s32Ret = HI_MPI_SYS_Bind(&stSrcChn, &stDesChn);
    if(HI_SUCCESS != s32Ret)
    {
        printf("HI_MPI_SYS_Bind failed! s32Ret: 0x%x.\n", s32Ret);
        goto END_3;
    }

    /*************************************************
    step  5: start VDA OD process
    *************************************************/
    s32Ret = SAMPLE_COMM_SYS_GetPicSize(enNorm, VpssSize, &stSize);
    if (HI_SUCCESS != s32Ret)
    {
        printf("SAMPLE_COMM_SYS_GetPicSize failed! s32Ret: 0x%x.\n", s32Ret);
        goto END_4;
    }

    if (0 != stSize.u32Width % VDA_WIDTH_ALIGN)
    {
        stSize.u32Width = (stSize.u32Width / VDA_WIDTH_ALIGN + 1) * VDA_WIDTH_ALIGN;
    }

    if (0 != stSize.u32Height % VDA_HEIGHT_ALIGN)
    {
        stSize.u32Height = (stSize.u32Height / VDA_HEIGHT_ALIGN + 1) * VDA_HEIGHT_ALIGN;
    }
   
    s32Ret = SAMPLE_COMM_VDA_OdStart(VdaChn_Od, u32VpssChn, &stSize);
    if (HI_SUCCESS != s32Ret)
    {
        printf("VDA OD Start failed! s32Ret: 0x%x.\n", s32Ret);
        goto END_4;
    }

    printf("Press any key to stop!");
    getchar();

END_4:
    SAMPLE_COMM_VDA_OdStop(VdaChn_Od, u32VpssChn);

END_3:   
    SAMPLE_COMM_VI_UnBindVpss(enViMode);
    
END_2:
    BIAO_VDA_StopVpss(s32VpssGrpNum);
    
END_1:
    SAMPLE_COMM_VI_Stop(enViMode);  
END_0:
    BIAO_VDA_SYS_Exit();
    return s32Ret;
}

测试结论：

    使用海思官方默认参数，对输入为D1的实时画面进行检测，不管是视频运动检测还是视频遮挡检测，它的准确度都不高，如果要准确检测，还需要自己进行调试或是使用其它的方式进行检测分析。

本章频测工程可以从「目录与序言」提供的地址去获取

本专栏第一篇文章「目录与序言」列出了专栏的完整目录，按目录顺序阅读，有助于你的理解。

 

----------------------------------------------------------------分割线----------------------------------------------------------------

新的文章内容和附件工程文件

已更新在博客首页和：

|工|·-·|重|·-·|浩|：liwen01

感恩您的关注，谢谢~

li_wen01
关注
  • 3
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
java基于opencv实现监控摄像头视频质量检测之遮挡异常诊断算法
erzhuben的博客
04-14 1143
通过OpenCV，使用java实现监控视频图像遮挡异常的诊断算法
视频遮挡检测算法
12-03
一种新型的摄像头遮挡检测算法，亲测误报低，并且具有实时性。
摄像头移动侦测原理
热门推荐
czw7813的博客
02-15 1万+
1、移动侦测技术定 传统的视频监视控制系统只是将各摄像机的信号在主控室的监视器显示出来，监视场景动态情况的判断，需要操作员目视完成。执行这种过程十分耗费时间和精力。因此引入移动侦测非常有必要，通过移动侦测，一旦移动程度超过了检测阈值，通过发出报警或启动存储装置方式来达到，从而及时通知监人员，避免重大损失。 本文主要讲述移动侦测相关知识，包括移动侦测灵敏度算法介绍、视频帧序分析算法设计。 相关图像基...
在视频画面中实现人脸遮挡检测 - 基于 TensorFlow 实现
时信魔方
01-18 2298
在进行视频通话时，我们往往需要对画面进行一些实时分析，例如识别画面里的人、车、动物等等。这里将介绍一种方法实现人脸被手部遮挡的检测。
海思芯片MPP模块——视频缓存池机制介绍
weixin_42031299的博客
03-15 1212
(1)一组大小相同、物理地址连续的缓存块组成一个视频缓存池。上图中有两个视频缓存池A、B，每个视频缓存池中包含n个缓存快，同一个缓存池中的缓存块是大小相等、地址连续的内存；(2)当VI模块采集到一帧图像，从缓存池B中申请到Bm缓存块用于保存图像；(3)VI模块将图像数据Bm传递给VPSS模块；(4)VPSS接收到图像数据Bm后，经过处理得到三路图像，也就是由一帧图像得到三帧不同的图像，每帧图像申请一个缓存块来保存，分别是Bi、Bj、Bk，原始图像Bm不再需要，所以将Bm还给视频缓存池B；
海思IVE算法原理解析一--遮挡检测(occlusion deection)
sinat_20276189的博客
06-30 4769
前言 这个算法就是满足摄像头遮挡报警这个功能需求 代码分析 0xfffffffLL是个长整形， 如果你也好奇这个写法的话。 流程 创建灰度图像的积分图计算任务 算出图像灰度值的平均值，均方差，u, v 再拿u,v计算不相似度。 不相似度>50%认为 有遮挡 不相似度的计算标准： 输入图像灰度值的平均值 >80(为什么是写死的值？？？)， 不相似度+1 总结 鸡肋， 误判率应该挺高的 还不如像手机一样加传感器 ...
第九章：mmp功能模块
kuensan的博客
05-14 4316
1、简介    海思提供的媒体处理软件平台(Media Process Platform,简称 MPP)                        VDEC用来解码的，比如磁盘里面有一个VDA对视频内容简单的侦测VPSS处理VO是用于直接显示的。2、什么是视频缓冲池(1)视频的本质是多帧图片，图片的本质是RGB或rawRGB数据，要占用一段连续内存(2)视频的裁剪、缩放、修正处理等各种操作，本...
C++基于opencv4的视频质量检测
Where there is life, there is hope.
07-15 4256
基于opencv4实现的视频质量诊断， 视频质量诊断----亮度异常检测 视频质量诊断----色度异常检测 视频质量诊断----雪花噪声检测 视频质量诊断----条纹噪声检测 视频质量诊断----模糊检测 视频质量诊断----信号丢失检测 视频质量诊断----遮挡检测 视频质量诊断----画面冻结检测 视频质量诊断----PTZ云台运动检测 视频质量诊断----画面抖动检测...
海思3559万能平台搭建：获取数据帧修改后编码
快跑Bug来啦！
06-28 1581
  有了这么长的铺垫和反复的啃sample，现在开始搭建自己的平台就底气多了，倒也不至于万能平台哈哈，只是在完成配置文件的功能后，可以不用改代码重新编译，就可以实现多场景多平台多功能下的使用了  万里长征第一步，在vi暂时没有改动依靠传感器的前提下，自然就是找个合适的位置从vpss处获取图像信息了，查看vpss处有关api，首先想到的自然是HI_MPI_VPSS_SendFrame和HI_MPI_VPSS_GetChnFrame（HI_MPI_VPSS_GetGrpFrame是从group获得的原始图像，主
OpenCV视频质量诊断----视频遮挡诊断
machh的专栏
09-24 2170
视频遮挡诊断 把彩色图像二值化，偏黑的部分为前景，其他部分为背景。 对前景进行连通区域检测，求得最大连通区域面积。 该面积整幅图像面积的比较即为遮挡率 c++语言实现 //视频遮挡诊断 double occlusion(const cv::Mat &src , double meanValue) { bool IsCovered = false; Mat gray; cvtColor(src, gray, CV_BGR2GRAY); Mat binary; threshold(gr
His3515MPP海思多媒体开发平台示例
08-10
His3515MPP海思多媒体开发平台示例
海思hi3559mpp功能开发文档
08-17
海思3559a MPP文档，主要是开发参考，可以配合官方示例学习， HDMI 开发参考.pdf HiFB API参考.pdf HiFB 开发指南.pdf HiMPP V4.0 媒体处理软件开发参考.pdf HiMPP 媒体处理软件 FAQ.pdf MIPI使用指南.pdf PCIE级联 ...
海思3519a 的mpp开发文档
04-01
海思3519a的mpp层处理文档，里面有详细的基于mpp层的搭建，希望对大家有用。
海思平台Linux嵌入式开发入门教程.doc
07-02
海思3516dv300开发的linux嵌入式入门教程包括安装虚拟机，ubuntu系统，编译sdk，安装编译工具等等
海思芯片的HiSVP 开发指南
01-20
海思芯片的HiSVP 开发指南
海思多媒体(MPP)开发(8)——获取VI中的YUV数据
Biao
03-28 1万+
前言： 海思多媒体处理平台(MPP)分为：视频输入(VI),视频处理(VPSS),视频编码(VENC),视频解码(VDEC),视频输出(VO)、视频侦测分析(VDA),音频输入(AI),音频输出(AO),音频编码(AENC),音频解码(ADEC),区域管理(REGION）等模块. 这里介绍视频输入模块(VI)中的直接获取YUV数据。 介绍： 在正常的视频编码和视频输出的使用中.........
海思多媒体(MPP)开发(5)——区域管理(REGION&OSD字符显示)
Biao
03-25 1万+
(一)基本概念理解 (1)Overlay叠加 视频叠加区域，其中区域支持位图的加载、背景色更新等功能，简单理解就是可以设置透明度，也就是下面的Alpha值 (2)Cover遮挡 视频遮挡区域，其中区域支持纯色块遮挡，与Overlay叠加不同的是它不能加载图片，不能设置透明度 (3)Alpha通道 　　如果图形卡具有32位总线，附加的8位信号就被用来保存不可见的透明度信号............
海思多媒体(MPP)开发(3)——视频输出(VO)与视频解码(VDEC)
Biao
03-25 9761
前言： 海思多媒体处理平台(MPP)分为：视频输入(VI),视频处理(VPSS),视频编码(VENC),视频解码(VDEC),视频输出(VO)、视频侦测分析(VDA),音频输入(AI),音频输出(AO),音频编码(AENC),音频解码(ADEC),区域管理(REGION）等模块. 这里介绍视频输出模块(VO)。 VO与自己的显示设备密切相关，在使用VO之前，应该了解自己.........
海思多媒体(MPP)开发(2)——视频输入(VI)
Biao
03-25 9244
前言： 海思多媒体处理平台(MPP)分为：视频输入(VI),视频处理(VPSS),视频编码(VENC),视频解码(VDEC),视频输出(VO)、视频侦测分析(VDA),音频输入(AI),音频输出(AO),音频编码(AENC),音频解码(ADEC),区域管理(REGION）等模块. 这里介绍视频输入模块(VI)。VI与AD密切相关，AD的输出模式必须与海思的VI先对应，AD的输出才能正确.........
海思mpp 接口文档
最新发布
01-08
海思mpp是一种多媒体处理平台，提供了丰富的接口文档以便开发者使用。接口文档包括了各种音视频处理接口、图像处理接口、以及数据传输接口等内容。其中，音视频处理接口包括了音视频采集、编解码、滤镜特效、混音等功能，图像处理接口包括了图像采集、图像编辑、图像识别等功能，数据传输接口包括了网络传输、存储传输等功能。 接口文档非常详细地描述了每个接口的功能、参数、调用方法以及返回结果。通过这些接口文档，开发者可以快速地了解海思mpp平台提供了哪些功能和接口，并且可以根据自己的需求来选择合适的接口进行开发。 海思mpp接口文档还提供了丰富的示例代码，开发者可以直接参考这些示例代码来进行开发。而且，接口文档也提供了技术支持和问题解答，方便开发者在开发过程中遇到问题时得到帮助。 总之，海思mpp接口文档提供了丰富的功能和接口，能够满足开发者对多媒体处理的需求，并且通过详细的描述和丰富的示例代码，能够帮助开发者快速地进行开发工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

li_wen01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值