视频流传输并做实时分析过程记录

最新推荐文章于 2024-09-05 23:23:55 发布

特工g

最新推荐文章于 2024-09-05 23:23:55 发布

阅读量702

点赞数 2

分类专栏：音视频流媒体 ffmpeg 文章标签： ffmpeg 视频处理图像识别串流网络传输

本文链接：https://blog.csdn.net/rose5996/article/details/115213349

版权

本文记录了一个使用RTP协议传输H264视频数据的项目，通过流媒体服务器解封装、解码，实现图像算法分析。为避免线程阻塞和延迟，采取异步处理，并对分析后的数据进行滤镜处理和编码发送。

摘要由CSDN通过智能技术生成

视频流传输并做实时分析过程记录

最近完成了实时视频流做图像算法分析的工程，记录下整体流程和关键步骤。
1.项目中使用RTP协议H264载荷传输视频数据，流媒体服务器收到流数据解封装提取出H264数据进行解码，解码函数：


int CITStreamTrans::StreamDec(unsigned char* buffer_in, int32_t bufferLen_in, unsigned char** yuv_out,int32_t &bufferLen_out){
   
	
	int ret;
    AVPacket packet = {
    0 };
    packet.data = (uint8_t*)buffer_in;    
    packet.size = bufferLen_in;   
         
	packet.pts = FRAME_TIMESTAMP * m_nFrameCounter++;

    ret = avcodec_send_packet(_pDecCodecContext, &packet);
    //return ret;
    if (avcodec_receive_frame(_pDecCodecContext, _pFrameYuv) == 0)
    {
   
    		m_nCodecID = m_nCodecID == 0 ? _pDecCodecContext->codec_id: m_nCodecID;
			m_nWidth = m_nWidth == 0 ? _pDecCodecContext->width : m_nWidth;
			m_nHeight = m_nHeight == 0 ? _pDecCodecContext->height : m_nHeight;
			m_nFps = m_nFps == 0 ? ENCODE_DEFAULT_FRAMERATE : m_nFps;
			m_nMbps = m_nMbps == 0 ? ENCODE_DEAULT_BITRATES : m_nMbps;

		_pFrameYuv->pts = _pFrameYuv->best_effort_timestamp;
		
        //int height = _pCodecContext->height;
        //int width = _pCodecContext->width;


        av_packet_unref(&packet);

		if(false){
   
			//禁用硬解码
			AVFrame *tmp_frame = NULL;
			if (_pFrameYuv->format == hw_pix_fmt)
				{
   
					/* retrieve data from GPU to CPU */
					if ((ret = av_hwframe_transfer_data(m_pSWFrame, _pFrameYuv, 0)) < 0)
					{
   
						printf("Error transferring the data to system memory\n");
						return -1;
					}

					//tmp_frame = m_pSWFrame;
				}
				//else