opencv GStreamer拉rtsp流之Windows平台

1. 先决条件

opencv要想使用GStreamer拉rtsp流，那么编译opencv必须带上GStreamer编译选项，具体参见：opencv带GStreamer之Windows编译

2. 代码

#include <opencv2/opencv.hpp>

using namespace cv;

int opencv_gstreamer_decoder_demo()
{
	cv::VideoCapture capture;
	capture.open("rtspsrc location=rtsp://admin:a88888888@192.168.1.64:554/Streaming/Channels/101?transportmode=unicast&profile=Profile_1 latency=0 ! decodebin ! videoconvert ! video/x-raw,format=BGR ! appsink", cv::CAP_GSTREAMER);
	if (!capture.isOpened())
	{
		cout << "open video faild" << std::endl;
		std::cout << cv::getBuildInformation() << std::endl;
		return -1;
	}
	cv::Mat frame;
	while (capture.read(frame))
	{
		imshow("frame", frame);
		if (waitKey(1) == 'q') break;
	}
	// 释放资源
	capture.release();
	cv::destroyAllWindows();

	return 0;
}

int main()
{
	opencv_gstreamer_decoder_demo();
	return 0;
}

3. GStreamer参数说明

"rtspsrc location=rtsp://admin:a88888888@192.168.1.64:554/Streaming/Channels/101?transportmode=unicast&profile=Profile_1 latency=0 ! decodebin ! videoconvert ! video/x-raw,format=BGR ! appsink"

1. rtspsrc location={rtsp_url} ：这是GStreamer的元素，用于指定RTSP流的位置。 {rtsp_url} 是您实际的RTSP流URL，包括用户名、密码、IP地址、端口号和流路径。

2. latency=0 ：这是 rtspsrc 元素的属性，用于设置延迟时间。在这种情况下，将延迟设置为0，以尽可能减少延迟。

3. decodebin ：这是GStreamer的元素，用于自动选择适当的解码器来解码输入流。它根据输入流的编码格式动态选择解码器。

4. videoconvert ：这是GStreamer的元素，用于进行视频格式转换。它将解码后的视频帧转换为指定的格式，以便后续处理或显示。

5. video/x-raw,format=BGR ：这是GStreamer的媒体类型，用于指定输出视频帧的格式。在这种情况下，它指定输出视频帧的格式为BGR。

6. appsink ：这是GStreamer的元素，用于将视频帧传递给应用程序进行处理。它充当视频帧的接收器，以供后续在应用程序中使用。

综上所述，该GStreamer管道的作用是从指定的RTSP流中拉取视频数据，然后通过解码、格式转换等处理，将视频帧传递给应用程序进行进一步处理或显示。