srs5.0之webrtc播放流程分析

原创 已于 2025-02-18 10:04:13 修改 · 2.5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#webrtc

于 2023-03-24 17:45:00 首次发布

环境搭建

    启动SRS

    clone srs源码：

git clone https://github.com/ossrs/srs.git && git checkout 5.0release

    配置 conf/rtmp2rtc.conf文件，使能webrtc特性并配置好candidate：

mingo@localhost:~/Applications/workspace/multimedia/srs/trunk$cat conf/rtmp2rtc.conf

listen              1935;
max_connections     100;
daemon              off;
srs_log_tank        console;

http_server {
    enabled         on;
    listen          8081;
    dir             ./objs/nginx/html;
}

http_api {
    enabled         on;
    listen          1985;
}
stats {
    network         0;
}
rtc_server {
    enabled on;
    listen 8000; # UDP port
    # @see https://ossrs.net/lts/zh-cn/docs/v4/doc/webrtc#config-candidate
    candidate *;
}

vhost __defaultVhost__ {
    rtc {
        enabled     on;
        # @see https://ossrs.net/lts/zh-cn/docs/v4/doc/webrtc#rtmp-to-rtc
        rtmp_to_rtc on;
        # @see https://ossrs.net/lts/zh-cn/docs/v4/doc/webrtc#rtc-to-rtmp
        rtc_to_rtmp on;
    }
    http_remux {
        enabled     on;
        mount       [vhost]/[app]/[stream].flv;
    }
}

    特别指出candidate配置，也可以指定本机ip：

rtc_server {
    enabled on;
    listen 8000; # UDP port
    # @see https://ossrs.net/lts/zh-cn/docs/v4/doc/webrtc#config-candidate
    candidate *;
}

     启动srs程序：

mingo@localhost:~/Applications/workspace/multimedia/srs/trunk$./objs/srs -c conf/rtmp2rtc.conf

     可以看到，srs启动成功： 

    RTC播放页面 

    SRS实现了RTC的H5播放器页面，启动成功SRS之后，在浏览器地址栏键入：

http://localhost:8081/players/rtc_player.html

  

    可以看到， 成功打开RTC播放页面。至此，环境配置完毕。

 抓包分析

    HTTP信令

    首先用wireshark抓包分析srs的webrtc的信令流程：

    可以看到，信令是Chrome webrtc客户端主动发起，SRS作为webrtc的服务端被动响应，其完整的信令如下：

{
	"api": "http://localhost:1985/rtc/v1/play/",
	"tid": "9328266",
	"streamurl": "webrtc://localhost/live/rtc-test",
	"clientip": null,
	"sdp": "v=0\r\no=- 4536557109234937850 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\na=group:BUNDLE 0 1\r\na=extmap-allow-mixed\r\na=msid-semantic: WMS\r\nm=audio 9 UDP/TLS/RTP/SAVPF 111 63 103 104 9 0 8 106 105 13 110 112 113 126\r\nc=IN IP4 0.0.0.0\r\na=rtcp:9 IN IP4 0.0.0.0\r\na=ice-ufrag:pmt4\r\na=ice-pwd:zGRQaVd+4OwEBJ8Wwg6iqo4x\r\na=ice-options:trickle\r\na=fingerprint:sha-256 0B:09:D5:22:2E:61:ED:05:D8:CF:7B:DB:5C:35:F1:7A:E5:1D:0B:94:11:E6:E9:A9:46:AF:07:D4:4A:CD:40:93\r\na=setup:actpass\r\na=mid:0\r\na=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level\r\na=extmap:2 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time\r\na=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01\r\na=extmap:4 urn:ietf:params:rtp-hdrext:sdes:mid\r\na=recvonly\r\na=rtcp-mux\r\na=rtpmap:111 opus/48000/2\r\na=rtcp-fb:111 transport-cc\r\na=fmtp:111 minptime=10;useinbandfec=1\r\na=rtpmap:63 red/48000/2\r\na=fmtp:63 111/111\r\na=rtpmap:103 ISAC/16000\r\na=rtpmap:104 ISAC/32000\r\na=rtpmap:9 G722/8000\r\na=rtpmap:0 PCMU/8000\r\na=rtpmap:8 PCMA/8000\r\na=rtpmap:106 CN/32000\r\na=rtpmap:105 CN/16000\r\na=rtpmap:13 CN/8000\r\na=rtpmap:110 telephone-event/48000\r\na=rtpmap:112 telephone-event/32000\r\na=rtpmap:113 telephone-event/16000\r\na=rtpmap:126 telephone-event/8000\r\nm=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101 35 36 37 38 102 122 127 121 125 107 108 109 124 120 39 40 41 42 43 44 45 46 47 48 123 119 114 115 116 49\r\nc=IN IP4 0.0.0.0\r\na=rtcp:9 IN IP4 0.0.0.0\r\na=ice-ufrag:pmt4\r\na=ice-pwd:zGRQaVd+4OwEBJ8Wwg6iqo4x\r\na=ice-options:trickle\r\na=fingerprint:sha-256 0B:09:D5:22:2E:61:ED:05:D8:CF:7B:DB:5C:35:F1:7A:E5:1D:0B:94:11:E6:E9:A9:46:AF:07:D4:4A:CD:40:93\r\na=setup:actpass\r\na=mid:1\r\na=extmap:14 urn:ietf:params:rtp-hdrext:toffset\r\na=extmap:2 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time\r\na=extmap:13 urn:3gpp:video-orientation\r\na=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01\r\na=extmap:5 http://www.webrtc.org/experiments/rtp-hdrext/playout-delay\r\na=extmap:6 http://www.webrtc.org/experiments/rtp-hdrext/video-content-type\r\na=extmap:7 http://www.webrtc.org/experiments/rtp-hdrext/video-timing\r\na=extmap:8 http://www.webrtc.org/experiments/rtp-hdrext/color-space\r\na=extmap:4 urn:ietf:params:rtp-hdrext:sdes:mid\r\na=extmap:10 urn:ietf:params:rtp-hdrext:sdes:rtp-stream-id\r\na=extmap:11 urn:ietf:params:rtp-hdrext:sdes:repaired-rtp-stream-id\r\na=recvonly\r\na=rtcp-mux\r\na=rtcp-rsize\r\na=rtpmap:96 VP8/90000\r\na=rtcp-fb:96 goog-remb\r\na=rtcp-fb:96 transport-cc\r\na=rtcp-fb:96 ccm fir\r\na=rtcp-fb:96 nack\r\na=rtcp-fb:96 nack pli\r\na=rtpmap:97 rtx/90000\r\na=fmtp:97 apt=96\r\na=rtpmap:98 VP9/90000\r\na=rtcp-fb:98 goog-remb\r\na=rtcp-fb:98 transport-cc\r\na=rtcp-fb:98 ccm fir\r\na=rtcp-fb:98 nack\r\na=rtcp-fb:98 nack pli\r\na=fmtp:98 profile-id=0\r\na=rtpmap:99 rtx/90000\r\na=fmtp:99 apt=98\r\na=rtpmap:100 VP9/90000\r\na=rtcp-fb:100 goog-remb\r\na=rtcp-fb:100 transport-cc\r\na=rtcp-fb:100 ccm fir\r\na=rtcp-fb:100 nack\r\na=rtcp-fb:100 nack pli\r\na=fmtp:100 profile-id=2\r\na=rtpmap:101 rtx/90000\r\na=fmtp:101 apt=100\r\na=rtpmap:35 VP9/90000\r\na=rtcp-fb:35 goog-remb\r\na=rtcp-fb:35 transport-cc\r\na=rtcp-fb:35 ccm fir\r\na=rtcp-fb:35 nack\r\na=rtcp-fb:35 nack pli\r\na=fmtp:35 profile-id=1\r\na=rtpmap:36 rtx/90000\r\na=fmtp:36 apt=35\r\na=rtpmap:37 VP9/90000\r\na=rtcp-fb:37 goog-remb\r\na=rtcp-fb:37 transport-cc\r\na=rtcp-fb:37 ccm fir\r\na=rtcp-fb:37 nack\r\na=rtcp-fb:37 nack pli\r\na=fmtp:37 profile-id=3\r\na=rtpmap:38 rtx/90000\r\na=fmtp:38 apt=37\r\na=rtpmap:102 H264/90000\r\na=rtcp-fb:102 goog-remb\r\na=rtcp-fb:102 transport-cc\r\na=rtcp-fb:102 ccm fir\r\na=rtcp-fb:102 nack\r\na=rtcp-fb:102 nack pli\r\na=fmtp:102 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42001f\r\na=rtpmap:122 rtx/90000\r\na=fmtp:122 apt=102\r\na=rtpmap:127 H264/90000\r\na=rtcp-fb:127 goog-remb\r\na=rtcp-fb:127 transport-cc\r\na=rtcp-fb:127 ccm fir\r\na=rtcp-fb:127 nack\r\na=rtcp-fb:127 nack pli\r\na=fmtp:127 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=42001f\r\na=rtpmap:121 rtx/90000\r\na=fmtp:121 apt=127\r\na=rtpmap:125 H264/90000\r\na=rtcp-fb:125 goog-remb\r\na=rtcp-fb:125 transport-cc\r\na=rtcp-fb:125 ccm fir\r\na=rtcp-fb:125 nack\r\na=rtcp-fb:125 nack pli\r\na=fmtp:125 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f\r\na=rtpmap:107 rtx/90000\r\na=fmtp:107 apt=125\r\na=rtpmap:108 H264/90000\r\na=rtcp-fb:108 goog-remb\r\na=rtcp-fb:108 transport-cc\r\na=rtcp-fb:108 ccm fir\r\na=rtcp-fb:108 nack\r\na=rtcp-fb:108 nack pli\r\na=fmtp:108 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=42e01f\r\na=rtpmap:109 rtx/90000\r\na=fmtp:109 apt=108\r\na=rtpmap:124 H264/90000\r\na=rtcp-fb:124 goog-remb\r\na=rtcp-fb:124 transport-cc\r\na=rtcp-fb:124 ccm fir\r\na=rtcp-fb:124 nack\r\na=rtcp-fb:124 nack pli\r\na=fmtp:124 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=4d001f\r\na=rtpmap:120 rtx/90000\r\na=fmtp:120 apt=124\r\na=rtpmap:39 H264/90000\r\na=rtcp-fb:39 goog-remb\r\na=rtcp-fb:39 transport-cc\r\na=rtcp-fb:39 ccm fir\r\na=rtcp-fb:39 nack\r\na=rtcp-fb:39 nack pli\r\na=fmtp:39 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=4d001f\r\na=rtpmap:40 rtx/90000\r\na=fmtp:40 apt=39\r\na=rtpmap:41 H264/90000\r\na=rtcp-fb:41 goog-remb\r\na=rtcp-fb:41 transport-cc\r\na=rtcp-fb:41 ccm fir\r\na=rtcp-fb:41 nack\r\na=rtcp-fb:41 nack pli\r\na=fmtp:41 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=f4001f\r\na=rtpmap:42 rtx/90000\r\na=fmtp:42 apt=41\r\na=rtpmap:43 H264/90000\r\na=rtcp-fb:43 goog-remb\r\na=rtcp-fb:43 transport-cc\r\na=rtcp-fb:43 ccm fir\r\na=rtcp-fb:43 nack\r\na=rtcp-fb:43 nack pli\r\na=fmtp:43 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=f4001f\r\na=rtpmap:44 rtx/90000\r\na=fmtp:44 apt=43\r\na=rtpmap:45 AV1/90000\r\na=rtcp-fb:45 goog-remb\r\na=rtcp-fb:45 transport-cc\r\na=rtcp-fb:45 ccm fir\r\na=rtcp-fb:45 nack\r\na=rtcp-fb:45 nack pli\r\na=rtpmap:46 rtx/90000\r\na=fmtp:46 apt=45\r\na=rtpmap:47 AV1/90000\r\na=rtcp-fb:47 goog-remb\r\na=rtcp-fb:47 transport-cc\r\na=rtcp-fb:47 ccm fir\r\na=rtcp-fb:47 nack\r\na=rtcp-fb:47 nack pli\r\na=fmtp:47 profile=1\r\na=rtpmap:48 rtx/90000\r\na=fmtp:48 apt=47\r\na=rtpmap:123 H264/90000\r\na=rtcp-fb:123 goog-remb\r\na=rtcp-fb:123 transport-cc\r\na=rtcp-fb:123 ccm fir\r\na=rtcp-fb:123 nack\r\na=rtcp-fb:123 nack pli\r\na=fmtp:123 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=64001f\r\na=rtpmap:119 rtx/90000\r\na=fmtp:119 apt=123\r\na=rtpmap:114 red/90000\r\na=rtpmap:115 rtx/90000\r\na=fmtp:115 apt=114\r\na=rtpmap:116 ulpfec/90000\r\na=rtpmap:49 flexfec-03/90000\r\na=rtcp-fb:49 goog-remb\r\na=rtcp-fb:49 transport-cc\r\na=fmtp:49 repair-window=10000000\r\n"
}

    为了便于理解，此处将sdp提取出来： 

v=0
o=- 4536557109234937850 2 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 1
a=extmap-allow-mixed
a=msid-semantic: WMS
m=audio 9 UDP/TLS/RTP/SAVPF 111 63 103 104 9 0 8 106 105 13 110 112 113 126
c=IN IP4 0.0.0.0
a=rtcp:9 IN IP4 0.0.0.0
a=ice-ufrag:pmt4
a=ice-pwd:zGRQaVd+4OwEBJ8Wwg6iqo4x
a=ice-options:trickle
a=fingerprint:sha-256 0B:09:D5:22:2E:61:ED:05:D8:CF:7B:DB:5C:35:F1:7A:E5:1D:0B:94:11:E6:E9:A9:46:AF:07:D4:4A:CD:40:93
a=setup:actpass
a=mid:0
a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level
a=extmap:2 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=extmap:4 urn:ietf:params:rtp-hdrext:sdes:mid
a=recvonly
a=rtcp-mux
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
a=rtpmap:63 red/48000/2
a=fmtp:63 111/111
a=rtpmap:103 ISAC/16000
a=rtpmap:104 ISAC/32000
a=rtpmap:9 G722/8000
a=rtpmap:0 PCMU/8000
a=rtpmap:8 PCMA/8000
a=rtpmap:106 CN/32000
a=rtpmap:105 CN/16000
a=rtpmap:13 CN/8000
a=rtpmap:110 telephone-event/48000
a=rtpmap:112 telephone-event/32000
a=rtpmap:113 telephone-event/16000
a=rtpmap:126 telephone-event/8000
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101 35 36 37 38 102 122 127 121 125 107 108 109 124 120 39 40 41 42 43 44 45 46 47 48 123 119 114 115 116 49
c=IN IP4 0.0.0.0
a=rtcp:9 IN IP4 0.0.0.0
a=ice-ufrag:pmt4
a=ice-pwd:zGRQaVd+4OwEBJ8Wwg6iqo4x
a=ice-options:trickle
a=fingerprint:sha-256 0B:09:D5:22:2E:61:ED:05:D8:CF:7B:DB:5C:35:F1:7A:E5:1D:0B:94:11:E6:E9:A9:46:AF:07:D4:4A:CD:40:93
a=setup:actpass
a=mid:1
a=extmap:14 urn:ietf:params:rtp-hdrext:toffset
a=extmap:2 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time
a=extmap:13 urn:3gpp:video-orientation
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=extmap:5 http://www.webrtc.org/experiments/rtp-hdrext/playout-delay
a=extmap:6 http://www.webrtc.org/experiments/rtp-hdrext/video-content-type
a=extmap:7 http://www.webrtc.org/experiments/rtp-hdrext/video-timing
a=extmap:8 http://www.webrtc.org/experiments/rtp-hdrext/color-space
a=extmap:4 urn:ietf:params:rtp-hdrext:sdes:mid
a=extmap:10 urn:ietf:params:rtp-hdrext:sdes:rtp-stream-id
a=extmap:11 urn:ietf:params:rtp-hdrext:sdes:repaired-rtp-stream-id
a=recvonly
a=rtcp-mux
a=rtcp-rsize
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 goog-remb
a=rtcp-fb:96 transport-cc
a=rtcp-fb:96 ccm fir
a=rtcp-fb:96 nack
a=rtcp-fb:96 nack pli
a=rtpmap:97 rtx/90000
a=fmtp:97 apt=96
a=rtpmap:98 VP9/90000
a=rtcp-fb:98 goog-remb
a=rtcp-fb:98 transport-cc
a=rtcp-fb:98 ccm fir
a=rtcp-fb:98 nack
a=rtcp-fb:98 nack pli
a=fmtp:98 profile-id=0
a=rtpmap:99 rtx/90000
a=fmtp:99 apt=98
a=rtpmap:100 VP9/90000
a=rtcp-fb:100 goog-remb
a=rtcp-fb:100 transport-cc
a=rtcp-fb:100 ccm fir
a=rtcp-fb:100 nack
a=rtcp-fb:100 nack pli
a=fmtp:100 profile-id=2
a=rtpmap:101 rtx/90000
a=fmtp:101 apt=100
a=rtpmap:35 VP9/90000
a=rtcp-fb:35 goog-remb
a=rtcp-fb:35 transport-cc
a=rtcp-fb:35 ccm fir
a=rtcp-fb:35 nack
a=rtcp-fb:35 nack pli
a=fmtp:35 profile-id=1
a=rtpmap:36 rtx/90000
a=fmtp:36 apt=35
a=rtpmap:37 VP9/90000
a=rtcp-fb:37 goog-remb
a=rtcp-fb:37 transport-cc
a=rtcp-fb:37 ccm fir
a=rtcp-fb:37 nack
a=rtcp-fb:37 nack pli
a=fmtp:37 profile-id=3
a=rtpmap:38 rtx/90000
a=fmtp:38 apt=37
a=rtpmap:102 H264/90000
a=rtcp-fb:102 goog-remb
a=rtcp-fb:102 transport-cc
a=rtcp-fb:102 ccm fir
a=rtcp-fb:102 nack
a=rtcp-fb:102 nack pli
a=fmtp:102 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42001f
a=rtpmap:122 rtx/90000
a=fmtp:122 apt=102
a=rtpmap:127 H264/90000
a=rtcp-fb:127 goog-remb
a=rtcp-fb:127 transport-cc
a=rtcp-fb:127 ccm fir
a=rtcp-fb:127 nack
a=rtcp-fb:127 nack pli
a=fmtp:127 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=42001f
a=rtpmap:121 rtx/90000
a=fmtp:121 apt=127
a=rtpmap:125 H264/90000
a=rtcp-fb:125 goog-remb
a=rtcp-fb:125 transport-cc
a=rtcp-fb:125 ccm fir
a=rtcp-fb:125 nack
a=rtcp-fb:125 nack pli
a=fmtp:125 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
a=rtpmap:107 rtx/90000
a=fmtp:107 apt=125
a=rtpmap:108 H264/90000
a=rtcp-fb:108 goog-remb
a=rtcp-fb:108 transport-cc
a=rtcp-fb:108 ccm fir
a=rtcp-fb:108 nack
a=rtcp-fb:108 nack pli
a=fmtp:108 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=42e01f
a=rtpmap:109 rtx/90000
a=fmtp:109 apt=108
a=rtpmap:124 H264/90000
a=rtcp-fb:124 goog-remb
a=rtcp-fb:124 transport-cc
a=rtcp-fb:124 ccm fir
a=rtcp-fb:124 nack
a=rtcp-fb:124 nack pli
a=fmtp:124 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=4d001f
a=rtpmap:120 rtx/90000
a=fmtp:120 apt=124
a=rtpmap:39 H264/90000
a=rtcp-fb:39 goog-remb
a=rtcp-fb:39 transport-cc
a=rtcp-fb:39 ccm fir
a=rtcp-fb:39 nack
a=rtcp-fb:39 nack pli
a=fmtp:39 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=4d001f
a=rtpmap:40 rtx/90000
a=fmtp:40 apt=39
a=rtpmap:41 H264/90000
a=rtcp-fb:41 goog-remb
a=rtcp-fb:41 transport-cc
a=rtcp-fb:41 ccm fir
a=rtcp-fb:41 nack
a=rtcp-fb:41 nack pli
a=fmtp:41 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=f4001f
a=rtpmap:42 rtx/90000
a=fmtp:42 apt=41
a=rtpmap:43 H264/90000
a=rtcp-fb:43 goog-remb
a=rtcp-fb:43 transport-cc
a=rtcp-fb:43 ccm fir
a=rtcp-fb:43 nack
a=rtcp-fb:43 nack pli
a=fmtp:43 level-asymmetry-allowed=1;packetization-mode=0;profile-level-id=f4001f
a=rtpmap:44 rtx/90000
a=fmtp:44 apt=43
a=rtpmap:45 AV1/90000
a=rtcp-fb:45 goog-remb
a=rtcp-fb:45 transport-cc
a=rtcp-fb:45 ccm fir
a=rtcp-fb:45 nack
a=rtcp-fb:45 nack pli
a=rtpmap:46 rtx/90000
a=fmtp:46 apt=45
a=rtpmap:47 AV1/90000
a=rtcp-fb:47 goog-remb
a=rtcp-fb:47 transport-cc
a=rtcp-fb:47 ccm fir
a=rtcp-fb:47 nack
a=rtcp-fb:47 nack pli
a=fmtp:47 profile=1
a=rtpmap:48 rtx/90000
a=fmtp:48 apt=47
a=rtpmap:123 H264/90000
a=rtcp-fb:123 goog-remb
a=rtcp-fb:123 transport-cc
a=rtcp-fb:123 ccm fir
a=rtcp-fb:123 nack
a=rtcp-fb:123 nack pli
a=fmtp:123 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=64001f
a=rtpmap:119 rtx/90000
a=fmtp:119 apt=123
a=rtpmap:114 red/90000
a=rtpmap:115 rtx/90000
a=fmtp:115 apt=114
a=rtpmap:116 ulpfec/90000
a=rtpmap:49 flexfec-03/90000
a=rtcp-fb:49 goog-remb
a=rtcp-fb:49 transport-cc
a=fmtp:49 repair-window=10000000

    srs作为webrtc后端的响应：

{
	"code": 0,
	"server": "vid-6714831",
	"sdp": "v=0\r\no=SRS/5.0.81(Bee) 4757130752 2 IN IP4 0.0.0.0\r\ns=SRSPlaySession\r\nt=0 0\r\na=ice-lite\r\na=group:BUNDLE 0 1\r\na=msid-semantic: WMS live/rtc-test\r\nm=audio 9 UDP/TLS/RTP/SAVPF 111\r\nc=IN IP4 0.0.0.0\r\na=ice-ufrag:36qb3jm5\r\na=ice-pwd:4poj87d02hi4894s922p343n478684h6\r\na=fingerprint:sha-256 D0:AD:CD:CE:DE:EA:49:01:BA:A3:D8:40:C3:6E:7C:8B:84:AA:FC:61:4A:34:81:18:59:BD:57:EB:54:7F:23:00\r\na=setup:passive\r\na=mid:0\r\na=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01\r\na=sendonly\r\na=rtcp-mux\r\na=rtcp-rsize\r\na=rtpmap:111 opus/48000/2\r\na=rtcp-fb:111 transport-cc\r\na=ssrc:276242153 cname:902u91640g4b5a51\r\na=ssrc:276242153 label:audio-4073vjgc\r\na=candidate:0 1 udp 2130706431 192.168.31.242 8000 typ host generation 0\r\nm=video 9 UDP/TLS/RTP/SAVPF 125\r\nc=IN IP4 0.0.0.0\r\na=ice-ufrag:36qb3jm5\r\na=ice-pwd:4poj87d02hi4894s922p343n478684h6\r\na=fingerprint:sha-256 D0:AD:CD:CE:DE:EA:49:01:BA:A3:D8:40:C3:6E:7C:8B:84:AA:FC:61:4A:34:81:18:59:BD:57:EB:54:7F:23:00\r\na=setup:passive\r\na=mid:1\r\na=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01\r\na=sendonly\r\na=rtcp-mux\r\na=rtcp-rsize\r\na=rtpmap:125 H264/90000\r\na=rtcp-fb:125 transport-cc\r\na=rtcp-fb:125 nack\r\na=rtcp-fb:125 nack pli\r\na=fmtp:125 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f\r\na=ssrc:276242154 cname:902u91640g4b5a51\r\na=ssrc:276242154 label:video-417lk9ha\r\na=candidate:0 1 udp 2130706431 192.168.31.242 8000 typ host generation 0\r\n",
	"sessionid": "36qb3jm5:pmt4"
}

    为了便于理解，此处将sdp提取出来： 

v=0
o=SRS/5.0.81(Bee) 4757130752 2 IN IP4 0.0.0.0
s=SRSPlaySession
t=0 0
a=ice-lite
a=group:BUNDLE 0 1
a=msid-semantic: WMS live/rtc-test
m=audio 9 UDP/TLS/RTP/SAVPF 111
c=IN IP4 0.0.0.0
a=ice-ufrag:36qb3jm5
a=ice-pwd:4poj87d02hi4894s922p343n478684h6
a=fingerprint:sha-256 D0:AD:CD:CE:DE:EA:49:01:BA:A3:D8:40:C3:6E:7C:8B:84:AA:FC:61:4A:34:81:18:59:BD:57:EB:54:7F:23:00
a=setup:passive
a=mid:0
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=sendonly
a=rtcp-mux
a=rtcp-rsize
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=ssrc:276242153 cname:902u91640g4b5a51
a=ssrc:276242153 label:audio-4073vjgc
a=candidate:0 1 udp 2130706431 192.168.31.242 8000 typ host generation 0
m=video 9 UDP/TLS/RTP/SAVPF 125
c=IN IP4 0.0.0.0
a=ice-ufrag:36qb3jm5
a=ice-pwd:4poj87d02hi4894s922p343n478684h6
a=fingerprint:sha-256 D0:AD:CD:CE:DE:EA:49:01:BA:A3:D8:40:C3:6E:7C:8B:84:AA:FC:61:4A:34:81:18:59:BD:57:EB:54:7F:23:00
a=setup:passive
a=mid:1
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=sendonly
a=rtcp-mux
a=rtcp-rsize
a=rtpmap:125 H264/90000
a=rtcp-fb:125 transport-cc
a=rtcp-fb:125 nack
a=rtcp-fb:125 nack pli
a=fmtp:125 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
a=ssrc:276242154 cname:902u91640g4b5a51
a=ssrc:276242154 label:video-417lk9ha
a=candidate:0 1 udp 2130706431 192.168.31.242 8000 typ host generation 0

    ICE信令

    通过报文分析，在HTTP信令交互完毕之后，接下来便是ICE信令及DTLS流程：

STUN流程 

    STUN binding request格式包，如果要进一步分析包的话，则尚需参照STUN协议格式：

0000   00 01 00 50 21 12 a4 42 79 73 48 6e 2f 4c 41 62   ...P!..BysHn/LAb
0010   45 55 5a 6e 00 06 00 0d 33 36 71 62 33 6a 6d 35   EUZn....36qb3jm5
0020   3a 70 6d 74 34 00 00 00 c0 57 00 04 00 00 03 e7   :pmt4....W......
0030   80 2a 00 08 40 93 5b 78 d1 33 e6 f0 00 24 00 04   .*..@.[x.3...$..
0040   6e 00 1e ff 00 08 00 14 16 4b bf d5 d2 8a f6 e2   n........K......
0050   2f 95 ec 4c be 98 f3 25 b1 47 03 7b 80 28 00 04   /..L...%.G.{.(..
0060   67 d5 6c a0                                       g.l.

    此处的Binding Request User为：

36qb3jm5:pmt4

    STUN binding response格式包： 

0000   01 01 00 40 21 12 a4 42 79 73 48 6e 2f 4c 41 62   ...@!..BysHn/LAb
0010   45 55 5a 6e 00 06 00 0d 33 36 71 62 33 6a 6d 35   EUZn....36qb3jm5
0020   3a 70 6d 74 34 00 00 00 00 20 00 08 00 01 eb ea   :pmt4.... ......
0030   e1 ba bb b0 00 08 00 14 74 24 c4 1a 65 e7 8e d8   ........t$..e...
0040   dc b9 af 22 ab 47 b6 9a 2b 2d 8a 79 80 28 00 04   ...".G..+-.y.(..
0050   46 66 4b 19                                       FfK.

    此处的Binding Success Response User candidate为：

XOR-MAPPED-ADDRESS 192.168.31.242:51960

DTLS流程

    接下来便是DTLS秘钥交换流程，此处暂不详细分析，可另起一篇分析。

 音视频数据

    接下来分析RTC的音视频数据流程。

    通过报文分析，在HTTP信令&STUN信令&DTLS秘钥交换成功后，接下来便是RTC的音视频SRTP数据包及其SRTCP控制包(需要通过wireshark将UDP音视频数据包decode as SRTP)：

     vieo的payload type为125，audio的则为111。video的ssrc为0x10771eea，audio则为0x10771ee9.

    除了payload部分是加密的，无法直接查看，SRTP header部分是很容易理解的。

总结

    SRS的WebRTC流程，主要是HTTP信令&STUN信令&DTLS秘钥交换&SRTP/SRTCP音视频数据及控制包。

附完整报文

链接：SRS5.0-WebRTC播放完整报文
提取码：6x7r

    

srs-7.0 支持obs推webrtc流
lcalqf的专栏
05-20 647
其实这个whip没啥复杂的，就是一个Http接口透传sdp信息。实现原理就是通过WHIP协议来传输 SDP信息。3、web端播放webrtc流。
WebRTC系列- turn及stun网络分析法
HOSTEN的博客
04-24 5880
文章目录1. TCPDUMP分析法1.1 简述1.2 使用2. WireShark 基本使用简述实战 之前的文章有分析各种协议包的组成，那么实际上在使用的时候是不是和分析的一样，这就需要获取到请求的包进行分析；在分析网络协议最好能抓取到数据包，然后看分析数据包是不是和规定的协议一致； 一般的网络数据包分析我们有两个常用的工具： Linux端的一般经常使用tcpdump 其他客户端一般使用WireShark 当然可以将tcpdump抓取的数据拿到wireShark中分析。 1. TCPDUMP分析法 1.
9、SRS4.0源代码分析之WebRTC服务总体介绍
黑板报
10-09 4131
SRS4.0源代码分析之WebRTC整体流程
SRS之启用webrtc播放
热门推荐
lixiang987654321的专栏
09-21 2万+
一、简介 WebRTC概念 WebRTC是由Google主导的，由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端之间）的音频、视频及数据共享。WebRTC不需要安装任何插件，通过简单的JavaScript API就可以使得实时通信变成一种标准功能。 为什么使用webrtc 现在各大浏览器以及终已经逐渐加大对WebRTC技术的支持。下图是webrtc官网给出的现在已经提供支持了的浏览器和平台。 二、srs启动 webrtc需要srs的最低版本：SRS4.0.14，为了拉取到最新
搭建SRS实现WebRTC播放
igocsdn的博客
08-09 3082
浏览器中使用WebRTC方式实现视频流低延迟的无插件播放的技术方案。 WebRTC需要SRS的最低版本：SRS4.0.14，所以我们部署的srs的时候版本需要大于SRS4.0.14。 SRS4.0.14，支持了RTMP推流，WebRTC播放。 SRS部署安装 进入指定目录，进行下载 wget https://github.com/ossrs/srs/archive/v4.0.76.tar.gz 解压 tar -zxvf srs-4.0.76.tar.gz 进入目录 cd /usr/local/srs
WebRTC播放组件之 srs.sdk.js 使用与详述
m0_67793437的博客
06-17 3740
webrtc流媒体的播放，本质上也是基于建立端到端的RTC连接、接收推送过来的视频流数据的过程。webrtc流地址本质上就具有很强的规则性，其中包含信令服务器地址、基本参数等。SRS（Simple Real-Time Media Server）是一个强大的开源的流媒体服务器， webrtcs视频流的播放本身就是一个订阅（播放）的过程，因此 SRS 源码中自然包含播放的代码，即srs.sdk.jssrs.sdk.js是基于 SRS 实时视频服务器、对浏览器支持的WebRTC基础功能的封装。
SRS 5.0支持WebRTC over TCP
2201_76108770的博客
02-17 583
如果你在2013年错过了给SRS贡献RTMP，在2014年错过了贡献Edge集群，在2015年错过了贡献FLV，在2016年错过了贡献DVR，在2017年错过了MP4和DASH，在2018年错过了贡献Origin集群，在2019年错过了贡献Docker化和云原生，在2020年错过了SRT和WebRTC，在2021年错过了HLS集群，在2022年错过了新官网和SRT协程化。纵然有一万个不贡献的理由，对于程序员来说，有一个贡献的理由就够了：作为程序员，只白嫖开源却不曾贡献，和咸鱼又有何分别？
【视频】SRS将RTMP转WebRTC、HLS流；获取RTSP转其它流
最新发布
郭老二
03-13 481
使用SRS将RTMP转WebRTC、HLS等流，以便在浏览器中显示； 从网络摄像头中拉取RTSP，转RTMP流；
docker部署SRS实时视频服务器，rtmp推流，用WebRTC播放
明天也是太阳花
05-25 4478
docker部署SRS实时视频服务器，rtmp推流，用WebRTC播放
webrtc(native C++)+srs(sfu)测延时200ms
宝安小雨
04-20 2776
srs集成了信令服务器的功能 srs没有打洞功能，推拉流端与它连接时需要手动设置CANDIDATE，把自己的公网ip暴露给srs，这样推拉流两端都和srs建立了p2p，这就是sfu的模型，one-to-many，suf服务器会把接收到的流分发给其他参与者。 参考： peerconnection_client实现srs推拉流 sfu原理 .........
webRTC的直播播放器
08-04
自定义的webRTC播放器 - h5格式的
webrtc音频数据流流程图
05-27
webrtc音频数据流流程图,只是整理了数据流的流向,方便了解代码.
JSWebrtc简易播放器-其他
06-12
JSWebrtc是一个支持SRS的Webrtc播放器。 JSWebrtc对浏览器的Webrtc做了简单的封装，支持SRS的RTC流的播放。 用法： JSWebrtc播放器可以通过HTML创建，只需给指定元素添加CSS样式jswebrtc即可: div class="jswebrtc" data-url="" 也可以通过在 JavaScript 中调用 JSWebrtc.Player() 构造方法来创建: var player = new JSWebrtc.Player(url [, options]); 参数url是一个webrtc开头的地址 (webrtc://...). 参数options支持下列的配置项: video – 用于播放视频的 HTML Video 元素. autoplay - 是否自动播放. 默认 false. onPlay(player) – 播放后回调 onPause(player) – 暂停后回调 JSWebrtc.Player API 实例JSWebrtc.Player支持以下方法和属性: .play() – 开始 .pause() – 暂停 .stop() – 停止 .destroy() – 停止播放并清理相关的播放资源. .paused – 只读, 是否暂停播放
SRS-CentOS7-x86-64-5.0-r1.zip
03-29
【SRS-CentOS7-x86-64-5.0-r1.zip】这个压缩包文件包含了SRS（Simple Realtime Server）的5.0版本，也被称为Bee版本，它是一个专为实时视频流服务设计的高效服务器。SRS在Linux CentOS 7 64位操作系统环境下运行，...
srs 之webrtc播放
liuweihui521的专栏
11-19 1722
https://blog.csdn.net/lixiang987654321/article/details/108714690
SRS webrtc 播放源码分析
xiaofeilong89的专栏
06-16 2183
在上一节中，我们知道在SrsRtcServer::listen_api()中启动了HTTP接口/rtc/v1/play/用于接收RTC播放的请求。 RTC play接口分析 在文件trunk/src/app/srs_app_rtc_api.cpp中。 以http://127.0.0.1:8080/players/rtc_player.html中的RTC播放demo为例。http://127.0.0.1:1985/rtc/v1/play/请求参数为： api: "http://127.0.0.1:1985/r
基于SRS 实现RTSP接入与WebRTC播放测试
wel_006的博客
09-12 2479
在安防领域，大多数摄像头是RTSP，SRS本身是不支持RTSP，那么基于SRS有没有什么方案让其支持RTSP接入，并基于SRS中已经实现的WebRTC的功能，使得网页端能够低延迟的播放RTSP流呢，上一篇《基于SRS 的 WebRTC 环境搭建》中已经介绍和演示了SRS可以实现RTMP的接入和WebRtc播放，可以通过ffmpeg 将RTSP流转化成RTMP流，就可以无缝对接了，本文就带着大家实操验证下。
JSWebrtc - 支持SRS的WebRTC播放器使用指南
gitblog_00800的博客
08-08 1518
### 关于JSWebrtc JSWebrtc是一款专为浏览器设计的WebRTC轻量级封装库，旨在简化WebRTC技术的使用难度，让开发者能够更轻松地实现流媒体通信功能。它特别支持SRS服务器的RTC流播放，提供了一套完整的API，以适应不同的应用场景需求。 ## 2、项目快速启动 要使用JSWebrtc在你的Vue项目中播放WebRTC流，以下步骤将指导你从零开始搭建环境。 ### 准备...
流媒体服务器srs 5.0 r3什么意思？
03-12
还需要说明SRS 5.0的新特性，比如可能支持SRT、WebTransport、增强的WebRTC功能等，这些是SRS 5.0的主要改进。而r3可能是在5.0基础上的一些修复或小改进，比如性能优化或bug修复。 要确保回答准确，可能需要引用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老中医的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值