1 专栏导读
本专栏第一篇文章「专栏开篇」列出了专栏的完整目录,按目录顺序阅读,有助于你的理解,专栏前面文章讲过的知识点(或代码段),后面文章不会赘述。为了节省篇幅,突出重点,在文章中展示的示例代码仅仅是关键代码,你可以在「专栏开篇」中获取完整代码。
如有错误,欢迎你的留言纠正!让我们共同成长!你的「点赞」或「打赏」是对我最大的支持和鼓励!
2 原理简介
ONVIF规范中设备管理和控制部分所定义的接口均以Web Services的形式提供,而音视频流则通过RTP/RTSP进行。
简单粗暴的理解:IPC的各种参数获取/配置都是通过ONVIF协议接口实现,而音视频流多媒体传输采用的是RTP/RTSP协议实现。
要读取IPC的音视频流,概况起来是,先通过ONVIF接口获取IPC主/辅码流的RTSP地址,再利用FFmpeg接口(或其他开源方案)读取音视频流数据。
3 编码流程
-
通过「设备发现」,得到 「设备服务地址」。
-
使用「设备服务地址」调用GetCapabilities接口,得到「媒体服务地址」。
-
使用「媒体服务地址」调用GetProfiles接口,得到主次码流的「媒体配置信息」,其中包含ProfileToken。
-
使用ProfileToken 调用GetStreamUri接口,得到主次码流的流媒体RTSP地址。
-
使用RTSP地址,调用FFmpeg接口,读取音视频流数据。
4 VLC播放RTSP视频
RTSP是很成熟的多媒体传输协议,用于传输音视频流数据。我们不需要自己码代码来实现RTSP协议,有很多现成的开源方案可供我们使用,比如强大的FFmpeg。
为了让大家对RTSP有个更好的认识,下面演示:使用VLC media player播放RTSP视频流。
- 打开VLC media player播放器(我的版本是VLC media player 2.1.3)。
-
选择菜单【媒体】>【打开网络串流】,输入RTSP地址,点击【播放】,即可实时播放视频流媒体,如下图所示。
-
如果提示认证失败,那么URL就要加上用户名、密码,格式如:rtsp://username:password@100.100.100.5:554/av0_0
5 准备FFmpeg库
官网:http://ffmpeg.org/
Windows平台下的FFmpeg,官网上有编译好的动态库可直接使用。
- 下载Dev版本,里面包含了ffmpeg的xxx.h头文件以及xxx.lib库文件。
- 下载Shared版本,里面包含了ffmpeg的dll文件。
- 将这两部分文件拷贝到VC工程下面就可以了
如:
ffmpeg-20160926-64545dd-win32-dev.zip
ffmpeg-20160926-64545dd-win32-shared.zip
Linux平台下的FFmpeg就要自己编译了(我下载的源码版本是:ffmpeg-3.0.2.tar.bz2),详细的编译过程不再本文讨论范围内,大致的命令是:
# ./configure --enable-shared --disable-yasm --disable-debug --prefix=/home/ffmpeg-linux-pc
# make
# make all
6 示例代码
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include "onvif_comm.h"
#include "onvif_dump.h"
#include "libavcodec/avcodec.h"
#include "libavdevice/avdevice.h"
#include "libavformat/avformat.h"
#include "libavfilter/avfilter.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include "libavutil/pixdesc.h"
void open_rtsp(char *rtsp)
{
unsigned int i;
int ret;
int video_st_index = -1;
int audio_st_index = -1;
AVFormatContext *ifmt_ctx = NULL;
AVPacket pkt;
AVStream *st = NULL;
char errbuf[64];
av_register_all();
avformat_network_init();
if ((ret = avformat_open_input(&ifmt_ctx, rtsp, 0, NULL)) < 0) {
printf("Could not open input file '%s' (error '%s')\n", rtsp, av_make_error_string(errbuf, sizeof(errbuf), ret));
goto EXIT;
}
if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)) < 0) {
printf("Could not open find stream info (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
goto EXIT;
}
for (i = 0; i < ifmt_ctx->nb_streams; i++) {
av_dump_format(ifmt_ctx, i, rtsp, 0);
}
for (i = 0; i < ifmt_ctx->nb_streams; i++) {
st = ifmt_ctx->streams[i];
switch(st->codec->codec_type) {
case AVMEDIA_TYPE_AUDIO: audio_st_index = i; break;
case AVMEDIA_TYPE_VIDEO: video_st_index = i; break;
default: break;
}
}
if (-1 == video_st_index) {
printf("No H.264 video stream in the input file\n");
goto EXIT;
}
av_init_packet(&pkt);
pkt.data = NULL;
pkt.size = 0;
while (1)
{
do {
ret = av_read_frame(ifmt_ctx, &pkt);
} while (ret == AVERROR(EAGAIN));
if (ret < 0) {
printf("Could not read frame (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
break;
}
if (pkt.stream_index == video_st_index) {
printf("Video Packet size = %d\n", pkt.size);
} else if(pkt.stream_index == audio_st_index) {
printf("Audio Packet size = %d\n", pkt.size);
} else {
printf("Unknow Packet size = %d\n", pkt.size);
}
av_packet_unref(&pkt);
}
EXIT:
if (NULL != ifmt_ctx) {
avformat_close_input(&ifmt_ctx);
ifmt_ctx = NULL;
}
return ;
}
int ONVIF_GetStreamUri(const char *MediaXAddr, char *ProfileToken, char *uri, unsigned int sizeuri)
{
int result = 0;
struct soap *soap = NULL;
struct tt__StreamSetup ttStreamSetup;
struct tt__Transport ttTransport;
struct _trt__GetStreamUri req;
struct _trt__GetStreamUriResponse rep;
SOAP_ASSERT(NULL != MediaXAddr);
SOAP_ASSERT(NULL != uri);
memset(uri, 0x00, sizeuri);
SOAP_ASSERT(NULL != (soap = ONVIF_soap_new(SOAP_SOCK_TIMEOUT)));
memset(&req, 0x00, sizeof(req));
memset(&rep, 0x00, sizeof(rep));
memset(&ttStreamSetup, 0x00, sizeof(ttStreamSetup));
memset(&ttTransport, 0x00, sizeof(ttTransport));
ttStreamSetup.Stream = tt__StreamType__RTP_Unicast;
ttStreamSetup.Transport = &ttTransport;
ttStreamSetup.Transport->Protocol = tt__TransportProtocol__RTSP;
ttStreamSetup.Transport->Tunnel = NULL;
req.StreamSetup = &ttStreamSetup;
req.ProfileToken = ProfileToken;
ONVIF_SetAuthInfo(soap, USERNAME, PASSWORD);
result = soap_call___trt__GetStreamUri(soap, MediaXAddr, NULL, &req, &rep);
SOAP_CHECK_ERROR(result, soap, "GetServices");
dump_trt__GetStreamUriResponse(&rep);
result = -1;
if (NULL != rep.MediaUri) {
if (NULL != rep.MediaUri->Uri) {
if (sizeuri > strlen(rep.MediaUri->Uri)) {
strcpy(uri, rep.MediaUri->Uri);
result = 0;
} else {
SOAP_DBGERR("Not enough cache!\n");
}
}
}
EXIT:
if (NULL != soap) {
ONVIF_soap_delete(soap);
}
return result;
}
void cb_discovery(char *DeviceXAddr)
{
int stmno = 0;
int profile_cnt = 0;
struct tagProfile *profiles = NULL;
struct tagCapabilities capa;
char uri[ONVIF_ADDRESS_SIZE] = {0};
char uri_auth[ONVIF_ADDRESS_SIZE + 50] = {0};
ONVIF_GetCapabilities(DeviceXAddr, &capa);
profile_cnt = ONVIF_GetProfiles(capa.MediaXAddr, &profiles);
if (profile_cnt > stmno) {
ONVIF_GetStreamUri(capa.MediaXAddr, profiles[stmno].token, uri, sizeof(uri));
make_uri_withauth(uri, USERNAME, PASSWORD, uri_auth, sizeof(uri_auth));
open_rtsp(uri_auth);
}
if (NULL != profiles) {
free(profiles);
profiles = NULL;
}
}
int main(int argc, char **argv)
{
ONVIF_DetectDevice(cb_discovery);
return 0;
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
open_rtsp函数的执行结果类似:
Input #0, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
Metadata:
title : av0_0
Duration: N/A, start: 0.000000, bitrate: N/A
Stream #0:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
Stream #0:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Input #1, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
Metadata:
title : av0_0
Duration: N/A, start: 0.000000, bitrate: N/A
Stream #1:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
Stream #1:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Audio Packet size = 320
Video Packet size = 73926
Video Packet size = 6387
Video Packet size = 3768
Video Packet size = 5742
Audio Packet size = 320
Audio Packet size = 320
Audio Packet size = 320
Video Packet size = 5188
Audio Packet size = 320
Video Packet size = 5035
Video Packet size = 4833
Audio Packet size = 320
Video Packet size = 4791
Audio Packet size = 320