9.多路码流RTSP传输并对每路视频图像叠加OSD信息

已于 2024-03-12 01:29:45 修改
阅读量533 收藏
点赞数
分类专栏： 音视频 文章标签： 音视频 arm开发 笔记
于 2023-06-28 01:13:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53762042/article/details/131428013
版权

一、先保证多路视频码流保存到本地，并且分辨率正确

注意点：
1.VPSS分两路通道
2.VENC分两路通道

if(s32ChnNum>=1)
{
    s32Ret = SAMPLE_COMM_SYS_GetPicSize(gs_enNorm, enSize[0], &stSize);
        if (HI_SUCCESS != s32Ret)
        {
        SAMPLE_PRT("SAMPLE_COMM_SYS_GetPicSize failed!\n");
        goto END_VENC_720P_CLASSIC_1;
        }

        VpssGrp = 0;
    stVpssGrpAttr.u32MaxW = stSize.u32Width;
    stVpssGrpAttr.u32MaxH = stSize.u32Height;
    stVpssGrpAttr.bIeEn = HI_FALSE;
    stVpssGrpAttr.bNrEn = HI_TRUE;
    stVpssGrpAttr.bHistEn = HI_FALSE;
    stVpssGrpAttr.bDciEn = HI_FALSE;
    stVpssGrpAttr.enDieMode = VPSS_DIE_MODE_NODIE;
    stVpssGrpAttr.enPixFmt = PIXEL_FORMAT_YUV_SEMIPLANAR_420;

    s32Ret = SAMPLE_COMM_VPSS_StartGroup(VpssGrp, &stVpssGrpAttr);
        if (HI_SUCCESS != s32Ret)
        {
        SAMPLE_PRT("Start Vpss failed!\n");
        goto END_VENC_720P_CLASSIC_2;
        }

    s32Ret = SAMPLE_COMM_VI_BindVpss(stViConfig.enViMode);
        if (HI_SUCCESS != s32Ret)
        {
        SAMPLE_PRT("Vi bind Vpss failed!\n");
        goto END_VENC_720P_CLASSIC_3;
        }

        VpssChn = 0;
    stVpssChnMode.enChnMode      = VPSS_CHN_MODE_USER;
    stVpssChnMode.bDouble        = HI_FALSE;
    stVpssChnMode.enPixelFormat  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
    stVpssChnMode.u32Width       = stSize.u32Width;
    stVpssChnMode.u32Height      = stSize.u32Height;
    stVpssChnMode.enCompressMode = COMPRESS_MODE_SEG;
        memset(&stVpssChnAttr, 0, sizeof(stVpssChnAttr));
    stVpssChnAttr.s32SrcFrameRate = -1;
    stVpssChnAttr.s32DstFrameRate = -1;
    enRcMode = SAMPLE_RC_CBR;
    s32Ret = SAMPLE_COMM_VPSS_EnableChn(VpssGrp, VpssChn, &stVpssChnAttr, &stVpssChnMode, HI_NULL);
        if (HI_SUCCESS != s32Ret)
        {
        SAMPLE_PRT("Enable vpss chn failed!\n");
        goto END_VENC_720P_CLASSIC_4;
        }
}

//--------Modify point-----------
#ifdef Modity_point

        if(s32ChnNum>=2)
        {
        s32Ret = SAMPLE_COMM_SYS_GetPicSize(gs_enNorm, enSize[1], &stSize);
            if (HI_SUCCESS != s32Ret)
            {
        SAMPLE_PRT("SAMPLE_COMM_SYS_GetPicSize failed!\n");
        goto END_VENC_720P_CLASSIC_1;
            }
            VpssChn = 1;
            stVpssChnMode.enChnMode      = VPSS_CHN_MODE_USER;
            stVpssChnMode.bDouble        = HI_FALSE;
            stVpssChnMode.enPixelFormat  = PIXEL_FORMAT_YUV_SEMIPLANAR_420;
            stVpssChnMode.u32Width       = stSize.u32Width;
            stVpssChnMode.u32Height      = stSize.u32Height;
            stVpssChnMode.enCompressMode = COMPRESS_MODE_SEG;
            memset(&stVpssChnAttr, 0, sizeof(stVpssChnAttr));
            stVpssChnAttr.s32SrcFrameRate = -1;
            stVpssChnAttr.s32DstFrameRate = -1;
            enRcMode = SAMPLE_RC_CBR;
            s32Ret = SAMPLE_COMM_VPSS_EnableChn(VpssGrp, VpssChn, &stVpssChnAttr, &stVpssChnMode, HI_NULL);
            if (HI_SUCCESS != s32Ret)
        {
        SAMPLE_PRT("Enable vpss chn failed!\n");
        goto END_VENC_720P_CLASSIC_4;
            }
}
#endif

二、将每个视频码流加入各自的环形缓冲区

比如将720P的码流加入缓冲区0，VGA的码流加入缓冲区1
注意点：
1.不能共用一个，如果共用一个会导致数据混乱
2.只有VLC连接过来并且服务器进入了PLAY状态，才开始将视频码流加入环形缓冲区

HI_S32 saveStream(int chnnum,VENC_STREAM_S *pstStream)
{
    HI_S32 i,lens=0;

//---------Moidty point-----------
        //for(;j<MAX_RTSP_CLIENT;)//have atleast a connect//MAX_RTSP_CLIENT = 2
        //{
        //只有播放器连接过来我才开始将编码数据加入环形缓冲区
        if(g_rtspClients[chnnum].status == RTSP_SENDING)//可发送状态
        {
            for (i = 0; i < pstStream->u32PackCount; i++)//u32PackCount：码流包个数
            {
                RTPbuf_s *p = (RTPbuf_s *)malloc(sizeof(RTPbuf_s));    //生成一个链表节点
                INIT_LIST_HEAD(&(p->list));    //并且指针都指向自己

                //填充结构体
                lens = pstStream->pstPack[i].u32Len-pstStream->pstPack[i].u32Offset;
                p->buf = (char *)malloc(lens);
                p->len = lens;
                memcpy(p->buf,pstStream->pstPack[i].pu8Addr+pstStream->pstPack[i].u32Offset,lens);
//---------Moidty point-----------
#ifdef Modity_point

                if(chnnum==0)
                    list_add_tail(&(p->list),&RTPbuf_head);//节点加入环形链表
                    
                if(chnnum==1)
                    list_add_tail(&(p->list),&RTPbuf_head2);//节点加入环形链表2
        
#endif
                count[chnnum]++;            //链表节点的个数
                //count++;            //链表节点的个数
                //printf("count = %d\n",count);
            }
          }
//    }

    return HI_SUCCESS;
}

三、监听线程会等待播放器客户端连接，每当有一个链接就会创建一个线程去对接，在此线程函数中进行完OPTHIONS、Describe、Setup的响应后， 会生成一个udp套接字专门用于发送视频数据，然后创建各自的发送线程来使用各自的udp套接字进行发送

int PlayAnswer(char *cseq, int sock,int SessionId,char* urlPre,char* recvbuf,int index)
{
    if (sock != 0)
    {
        char buf[1024];
        memset(buf,0,1024);
        char *pTemp = buf;
        char*localip;
        localip = GetLocalIP(sock);
        pTemp += sprintf(pTemp,"RTSP/1.0 200 OK\r\nCSeq: %s\r\n%sRange: npt=0.000-\r\nSession: %d\r\nRTP-Info: url=rtsp://%s/%s;seq=0\r\n\r\n",
            cseq,dateHeader(),SessionId,localip,urlPre);

        free(localip);
        
        int reg = send(sock, buf,strlen(buf),0);
        if(reg <= 0)
        {
            return FALSE;
        }
        else
        {
            printf(">>>>>%s",buf);
            udpfd[index] = socket(AF_INET,SOCK_DGRAM,0);//为每个链接创建一个UDP套接字，专门用来发送
            struct sockaddr_in server;
            server.sin_family=AF_INET;
               server.sin_port=htons(g_rtspClients[index].rtpport[index]);          
               server.sin_addr.s_addr=inet_addr(g_rtspClients[index].IP);
            connect(udpfd[index],(struct sockaddr *)&server,sizeof(server));
                    printf("udp up\n");
            pthread_create(&gs_RtpPid[index], 0, vdRTPSendThread, (void *)&index);//为每个链接创建一个发送线程
        }
        return TRUE;
    }
    return FALSE;
}

注意点：保证最后需要几路码流就生成几个udp套接字和几个发送线程，每路码流对应一个udp套接字和一个发送线程

四、由于所有发送线程共用一个发送函数vdRTPSendThread，所以要此函数中对各个线程进行区分，执行不同的函数体（可以通过线程传参来实现），在发送函数中判断环形缓冲区是否为空，不为空则一次一次地调用发送函数发出去；为空则阻塞

HI_VOID* vdRTPSendThread(HI_VOID *p)
{
        HI_S32 index = *((HI_S32*)p);//线程传参，用于区分不同的发送线程
        while(1)    //每5ms判断当前是否有数据要发送
        {
                if(index == 0){
#if 1

        //printf("kongkongkong");
            if(!list_empty(&RTPbuf_head))    //链表为空，则表明当前没有数据要发送
            {
                //printf("feikong-hhhhhhhhhhhhhhhh");
            //有执行
            RTPbuf_s *p = get_first_item(&RTPbuf_head,RTPbuf_s,list);
            //有发
            VENC_Sent(p->buf,p->len,0);
            list_del(&(p->list));
            free(p->buf);
            free(p);
            p = NULL;
            count[0]--;
            //printf("count = %d\n",count);        
            }
                }
#endif

#ifdef Modity_point    
            else if(index == 1){
         
            if(!list_empty(&RTPbuf_head2))    //链表为空，则表明当前没有数据要发送
            {  
            
            RTPbuf_s *p = get_first_item(&RTPbuf_head2,RTPbuf_s,list);
            VENC_Sent(p->buf,p->len,1);
            list_del(&(p->list));
            free(p->buf);
            free(p);
            p = NULL;
            count[1]--;
            //printf("count = %d\n",count);
        
            }
                  }

#endif
        usleep(5000);                //延时5ms
    }
}

五、发送函数（对RTP协议的封包发送）只管发一次RTP包出去

注意点：因为有多个环形缓冲区需要发送，所以设计时要考虑根据udp套接字的不同而发送

六、多路视频图像如何为每路叠加OSD—单独为每个通道各自分配一个区域

最终效果：
![在这里插入图片描述](https://img-blog.csdnimg.cn/636cc65ef88b4be2a81e98acfcbff15d.png

哈哈⊙ω⊙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
海康API接口SDK网络摄像机OSD叠加文字字符水印demo.rar
07-09
使用海康网络高清摄像机SDK开发包进行字符叠加OSD例程 开发环境BCB6.0 在视频上叠加OSD文字和Logo图标,通过在原图像上修改像素的方法进行叠加,支持多种图像格式(RGB565/RGB555/RGB24/RGB32),可叠加多个OSD区域
对视频图像进行OSD叠加
简单同学
07-09 8054
频叠加就是将图片和文字信息叠加到视频信号中，如电视台的LOGO，电影的字幕，电视机的菜单，都是通过视频叠加的形式显示在视频图像中的。区别于用于专业影视编辑行业的字幕叠加器，字符叠加器这一名称现在更加习惯用于各类监控系统中使用的价格相对低廉的具备基本的视频字幕叠加能力的电子设备。 字符叠加器按照功能分型可分为动态字符叠加器和静态字符叠加器 动态字符叠加器指与微机或...
基于HTML5的视频叠加方案
m13721069895的博客
01-31 1151
基于HTML5的视频叠加方案 现在AI比较火，尤其是在交通领域。最近搞了个在web端video上打框的视频叠加方案， 原理： 1.算法算出来的打框数据放在SEI帧里，通过WebSocket发到前端 2.前端WebSocket接收后，按照自定义协议分离出视频数据和打框数据 3.用video播放视频数据，用布局覆盖的div绘制框体数据，根据时间戳做好同步机制。 效果如下：交流联系 QQ：909675470 基于Html5的web
四旋翼飞行器14——无人机中的OSD、数传、图传、FPV是什么？
耶律大石的博客
01-15 2万+
四旋翼飞行器14——无人机中的OSD和数传是什么？ 一、什么是OSD（无人机领域） 无人机OSD指是视频叠加系统，就是把飞行器的状态，也就是各个模块的数据，比如你装风速仪、高度仪、陀螺仪、电量监控等，整合到OSD模块，然后OSD模块把监控的数据返回到终端（遥控器的显示屏上）叠加到图传的图像上。 　 　OSD（On Screen Display）是屏幕显示技术的一种，用于在显示终端上显示字符、图形和...
让我们了解OSD视频叠加相关信息
easyele的专栏
06-07 6728
什么是视频叠加？视频叠加就是将图片和文字信息叠加到视频信号中，如电视台的LOGO，电影的字幕，电视机的菜单，都是通过视频叠加的形式显示在视频图像中的。区别于用于专业影视编辑行业的字幕叠加器，字符叠加器这一名称现在更加习惯用于各类监控系统中使用的价格相对低廉的具备基本的视频字幕叠加能力的电子设备。字符叠加器按照功能分型可分为动态字符叠加器和静态字符叠加器动态字符叠加器指与微机或其他智能设备配合，可显示随现场情况变化的字符信息，字符信息与现场视频信号相结合，为监控者提供更为详尽准确的信息。静态字符叠加器指只在视
八路视频光端机技术导论：多通道视频传输的高效解决方案
fctel的博客
01-08 374
随着光通信技术的快速发展，已成为多通道视频传输的有效解决方案。本文将探讨该技术的原理、优势及应用前景，为光通信行业的技术人员和研究学者提供参考。
基于Leaflet的VideoOverlay视频图层叠加实战
夜郎King的博客
01-16 9702
本文首先介绍了DistortableVideo组件的相关知识，它的github仓库信息，相关源代码的目录说明，使用依赖信息。然后结合Leaflet为，深度讲解一个基于Leaflet的视频叠加展示插件DistortableVideo，在介绍插件的同时，也深度讲解如何在工程中实际应DistortableVideo，最后给出一个简单的视频叠加Html5案例，同时使用debug方式对视频图层的加载进行了步骤分析，希望可以帮助您更深度的理解这个组件。
搭建RTSP流媒体服务器（用于测试分析RTSP协议）（rtsp-simple-server+FFmpeg+vlc+wireshark）
qq_36819827的博客
03-03 6308
本文所搭建的流媒体服务器是在虚拟机centos7中安装rtsp-simple-server充当服务器，在windows本机中安装FFmpeg用于推流，使用vlc播放器播放rtsp-simple-server中的视频充当拉流，并用wireshark抓包分析RTSP协议
opencv读取rtsp图像处理后推流rtmp
热门推荐
ZONGXP的博客
06-24 2万+
参考：https://blog.csdn.net/u014303844/article/details/80394101 1 背景 在做图像处理任务时，一个很常见的需求就是读取网络相机rtsp码流做识别，可以抽帧检测，也可以一帧一帧检测，识别完毕后，再将处理过的图片串成视频流，在客户端进行显示。可在网页端显示的比较成熟的方案是rtmp流，因此，我们的方案是用opencv读取摄像头rtsp码流，...
基于gstreamer的支持动态获取多路流的rtsp server示例
03-13
最近在做rtsp server相关的事情，调研了一些开源的服务器，大部分都是作为独立的进程启动，有点不符合自己的场景。偶然发现gstreamer，名气很大，但是用的人却很少。粗略百度了下相关资料--很少。大部分示例都是提供一路流，或者事先写死几路，没法根据自己播放访问时的url判断流存不存在并动态创建。后面花了点时间稍微了解了下，整理出一份动态创建流的代码，分享出来
web端 多路 视频实时播放rtsp流
05-22
springboot+websocket+ ffmpeg 实现web无插件多路视频实时播放rtsp流
简易rtsp流媒体服务，实现了系列图片转为rtsp视频流，支持多路并发
10-17
本资源在live555的基础上，实现了一系列实时的图片转为rtsp播放格式的视频流的功能，支持多路并发。Github上有这个资源，但只支持一路，我在此基础上做了改进。
Web网页实现多路播放RTSP视频流（使用WebRTC）
08-03
本demo采用web网页作为客户端，webrtc作为服务端，实现多路rtsp视频流在网页端同时实时预览。 其中包含两个文件夹：webrtc-qmy为客户端；webrtc-streamer-v0.7.0-dirty-Windows-AMD64-Release问服务端。具体使用流程...
使用gstreamer获取rtsp视频流并保存成图片.zip
10-22
使用gstreamer获取rtsp视频流并保存成图片，代码中有详细注释，注意需要自行安装gstreamer库和gtk库，ubuntu可以直接用apt install安装
多路视频同步显示
07-15
通过流媒体服务器（live555或VLC）发送视频流，FFmpeg接收RTSP视频流解码为RGB数据，QT界面同步显示1路或3路视频数据并实现截图等功能 https://blog.csdn.net/u010872301/article/details/81056251
【视频异常检测】Open-Vocabulary Video Anomaly Detection 论文阅读
weixin_44609958的博客
04-23 1329
当前的视频异常检测（VAD）方法在弱监督下通常局限于封闭集设置，并且可能在测试数据中存在未见过的异常类别的开放世界应用中遇到困难。最近的一些研究尝试解决一个更现实的问题，即开放集异常检测（open-set VAD），其旨在检测给定已见异常和正常视频的未见异常。然而，这样的设置侧重于预测帧异常分数，无法识别异常的具体类别，尽管这种能力对于构建更加明智的视频监控系统至关重要。本文进一步探讨了开放词汇视频异常检测（OVVAD），我们旨在利用预训练的大型模型来检测和分类已见和未见的异常。
10.MMD 室内场景导入背景视频和灯光
最新发布
CoderZzz6310的博客
04-23 1155
可以使用Pr，导出AVI格式，使用Inter IYUV编码。场景是Akali’s room，可以在墙壁上添加视频。可是直接在背景导入视频文件也会显示无法导入。然后会在视频的目录上生成一个.avs的文件。直接导入AVI格式文件，不需要再用MMBG。如果某一个数值偏高的话，会偏出别的颜色的光。新生成的mp4文件可以导入MMBG中。在背景选项里面，点击最下面的一项。都是0.2的话，会是一个偏白的光。点击刚才生成的.avs文件导入。将mp4文件，用小丸工具箱封装。再将avi文件转换成mp4文件。
Php 通过 FFmpeg 获取远程视频的时长和截图
潘广宇的博客
04-23 649
突然发现 FFmpeg 这个软件还可以直接拉取远程视频的相关信息，也就是可以不通过下载视频到本地的方式，直接远程去获取视频时长和截图。经测试，以上过程的调用，并不需要完全把视频下载到本地再解析，可以实现远程获取直接秒级返回！假设我们的视频url是：http://my.com/a.mp4。第二步，通过composer安装FFmpeg的库。第一步，Linux 安装 FFmpeg 软件。
同时录制多路rtsp流
07-27
同时录制多路RTSP流可以通过以下步骤实现。首先，需要使用RTSP协议来获取多路流的数据。RTSP协议定义了一对多应用程序如何通过IP网络传输多媒体数据。可以使用基于RTSP/RTP的流媒体传输技术来实现这一目标。\[1\] 其次，需要使用流媒体播放器来对遵循RTSP标准协议的码流进行实时播放和录制。播放器的核心包括网络库和播放库。网络库负责对码流的获取和链路的管理，可以基于开源库如Live555进行开发。播放库则负责对实时码流进行解码播放和控制，可以基于ffmpeg和DirectX等技术进行开发。\[2\] 在录制多路RTSP流时，可以通过比较音频和视频的时间戳(pts)来对视频的显示速度进行调整。如果当前的视频的pts比音频pts大于最小偏差值，说明视频快了，可以放慢视频的显示速度。反之，如果差距太大，大于最大偏差值时，可以采用丢帧方式来加快视频的显示速度。这样可以保持多路流的同步和稳定性。\[3\] 综上所述，同时录制多路RTSP流可以通过使用RTSP协议获取流数据，结合流媒体播放器进行实时播放和录制，并通过比较时间戳来调整视频的显示速度来实现。 #### 引用[.reference_title] - *1* *2* *3* [多路RTSP播放器直播与点播技术实现 | 学步园](https://blog.csdn.net/weixin_30229479/article/details/113551518)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值