RTP over RTSP(TCP)（一）

最新推荐文章于 2025-09-05 07:24:39 发布
原创 最新推荐文章于 2025-09-05 07:24:39 发布 · 2.2w 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tcp #session #h.264 #date #服务器 #video

本文详细介绍了RTP over RTSP(TCP)的交互过程，通过一系列的RTSP请求（OPTIONS, DESCRIBE, SETUP, PLAY, GET_PARAMETER, TEARDOWN）展示了一个完整的TCP会话建立和媒体流传输的流程，涉及live555服务器和VLC客户端，以及H264视频格式。在TCP传输中，当遇到Zero Window问题时，意味着客户端暂时无法接收更多信息，可能由接收缓冲区满导致。" 50899191,1471493,深入理解HMFS：源码编译、安装与运行参数解析,"['文件系统', 'Linux', '存储']

服务器：live555 客户端：VLC 视频格式：H264  

（1）OPTIONS 

OPTIONS rtsp://222.201.145.236/slamtv60.264 RTSP/1.0
CSeq: 2
User-Agent: LibVLC/1.1.11 (LIVE555 Streaming Media v2011.05.25)
解析：此步骤是客户端向服务器询问有哪些方法可以使用。包里面说明了客户端请求的文件所在的地址和端口，并说明播放器的版本和操作系统平台。

RTSP/1.0 200 OK
CSeq: 2
Date: Wed, Mar 07 2012 03:48:07 GMT
Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, GET_PARAMETER, SET_PARAMETER
解析：接收到OPTIONS请求后服务端发出响应报文。最开始返回状态码200代表请求成功。然后返回服务器当前时间(GMT)和所支持的方法。
(2)DESCRIBE 

DESCRIBE rtsp://222.201.145.236/slamtv60.264 RTSP/1.0
CSeq: 3
User-Agent: LibVLC/1.1.11 (LIVE555 Streaming Media v2011.05.25)
Accept: application/sdp
解析：该方法是客户端像服务端请求描述媒体的详细信息。包中说明需要描述的媒体文件具体目录和名称，定义客户端能理解的描述类型，要求服务端以SDP包方式来描述媒体信息
RTSP/1.0 200 OK
CSeq: 3
Date: Wed, Mar 07 2012 03:48:07 GMT
Content-Base: rtsp://222.201.145.236/slamtv60.264/
Content-Type: application/sdp
Content-Length: 527

第一部分解析：这是服务端响应DESCRIBE请求所发回的报文。以上内容说明描述的媒体文件具体路径和名称，以及所采用的描述类型(sdp)，并定义了SDP包内容的长度。以下的第二部分是SDP包的内容。


v=0
o=- 1331092087436965 1 IN IP4 222.201.145.236 
s=H.264 Video, streamed by the LIVE555 Media Server
i=slamtv60.264// 媒体名称
t=0 0
a=tool:LIVE555 Streaming Media v2012.02.04
a=type:broadcast  广播方式
a=control:*
a=range:npt=0-
a=x-qt-text-nam:H.264 Video, streamed by the LIVE555 Media Server
a=x-qt-text-inf:slamtv60.264
m=video 0 RTP/AVP 96 //媒体类型+端口+传输协议+格式列表
c=IN IP4 0.0.0.0
b=AS:500
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=4D4033;sprop-parameter-sets=Z01AM5JUDAS0IAAAAwBAAAAM0eMGVA==,aO48gA==
a=control:track1

第二部分解析：该部分是SDP包内容，包括媒体的所有初始化信息。在传输时SDP包作为RTSP包里的一部分一起发送。

(3)

SETUP rtsp://222.201.145.236/slamtv60.264/track1 RTSP/1.0
CSeq: 4
User-Agent: LibVLC/1.1.11 (LIVE555 Streaming Medi

最低0.47元/天 解锁文章
RTSP中的RTP over TCP
machh的专栏
08-10 1万+
通常来说，RTSP提供UDP方式发送RTP流。当然，发送流媒体时，UDP往往是更好的选择。 下面是使用UDP时的一些问题： UDP协议上的RTSP/RTP需要打开许多UDP端口（每一路流媒体都需要2个UDP端口，一个用于接收数据，一个用于接收控制信息）； 当因特网上的路由器没有打开这些端口的时候，第一点将会存在问题； 中间网络路由器很容易就过滤或者忽略掉UDP数据包； UDP是不可靠传输协议，媒体包......
8、RTP OVER RTSP/TCP的RTSP服务器
huabiaochen的博客
02-29 1162
一、RTP OVER RTSP(TCP)的实现 1.1 发送RTP包方式 对于RTP OVER UDP 的实现，我们使用TCP连接来发送RTSP交互，然后创建新的UDP套接字来发送RTP包，和建新的UDP套接字来发送RTCP包。 对于RTP OVER RTSP(TCP)来说，我们会复用使用原先发送RTSP的socket来发送RTP包和RTCP包。 1.2 如何区分RTSP、RTP、RTCP...
RTP Over RTSP Over TCP
likytkyt的博客
02-28 2094
socket接收到RTSP包结构：         [Magic][Channel][0x00][0x00]         Magic:0x24         Channel取值由RTSP协议中Setup阶段设置的interleaved来决定，默认0-1，0代表后面的是RTP包，1代表RTCP包         例如，设置TCP隧道传输RTP：              SETUP
rtp_over_rtsp精简分析.pdf
06-13
rtp_over_rtsp精简分析.pdf ，Mpeg4 h264 RTP打包格式。
ZLMediaKit RTSP专题：RTP over UDP/TCP/HTTP/组播四种传输方式
gitblog_00728的博客
09-05 590
在流媒体开发中，RTSP（Real Time Streaming Protocol，实时流传输协议）作为经典的控制协议，其RTP（Real-time Transport Protocol，实时传输协议）数据传输方式的选择直接影响着系统的性能和兼容性。ZLMediaKit作为高性能的流媒体服务器框架，全面支持RTP over UDP、TCP、HTTP和组播四种传输方式，为不同场景提供了灵活的解决方案...
使用RTP over RTSP(TCP)
wang_walfred的专栏
10-10 2364
Normally, RTSP provide streaming over UDP. By nature, UDP is a better choice as it provides robust streaming capability for media. However, it is unlikely to use UDP for streaming over the Internet.
RTSP - RTP over TCP
要坚持，要认真。
09-17 1万+
Normally, RTSP provide streaming over UDP. By nature, UDP is a better choice as it provides robust streaming capability for media. However, it is unlikely to use UDP for streaming over the Internet.
RTP OVER RTSP/TCP的RTSP服务器-亲测有用的
11-06
为了改善这一问题，有时会考虑通过TCP来传输RTP数据，即RTP over RTSP/TCP的方式。 在实现RTP over RTSP/TCP的过程中，主要的挑战在于如何确保实时传输的性能不会因为TCP的拥塞控制机制而受到影响。TCP作为一个面向...
RTSP服务器：RTP over TCP
weixin_43796767的博客
06-24 1436
协议回顾 RTP协议负责实际数据的传输。通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议之上工作。 基于UDP的RTP和基于TCP的RTP各有千秋。如果需要低延时，可容忍部分数据丢失，选用UDP；如果需要可靠性高，对实时性要求不高，选用TCP。这里只简单地说明两者的优缺点，在具体项目中需要考虑的细节可能远不止上面几点。 RTP/AVP & RTP/AVP/TCP 推荐：https://www.jianshu.com/p/7b9793eb2f4e RTSP流（传输RTP包）的传输方
音视频学习(十六)——rtp over tcp简介
www_dong的博客
01-30 1845
rtp over tcp简介
RTP 基于UDP和TCP协议传输数据的详解以及RTSP协议请求流程详解
qq_23552895的博客
03-06 6024
1、RTP over RTSP(TCP)优势 对于RTP包为什么用TCP来传输： ①UDP协议上的RTSP/RTP需要打开许多UDP端口,一个端口用于RTSP通信，n个端口用于RTP，n个端口用于RTCP ②中间网络路由器很容易就过滤或者忽略掉UDP数据包 ③UDP是不可靠传输协议，媒体包在因特网上传输时会面临着丢包 2、RTP over RTSP(TCP) 与 RTP over RTSP(...
【rtp over tcp/rtsp解析】&&【H264格式与RTP包解析】&&【以H264的打包方式---分片打包(type = 28 FU-A方式为例)】
Ubuntu离线安装Sogou拼音
12-31 727
【rtp over tcp/rtsp解析】&&【H264格式与RTP包解析】&&【以H264的打包方式---分片打包(type = 28 FU-A方式为例)】
A/V data用TCP来接收（rtp overrtsp），可以收到数据，但解析不对。
Power of technology will free your body and spirit
02-25 1107
/* TS:18:24:59 :tcp recv msg=24 TS:18:24:59 :tcp recv msg=2 TS:18:24:59 :tcp recv msg=0 TS:18:24:59 :tcp recv msg=52 TS:18:24:59 :tcp recv 0x52 bytes!idx=1       //只有idx=1？也就是只有track=1即音频数据。长度是固定
RTP OVER TCP
qiuniaoyi3810的博客
12-29 328
最近在做一个ios项目手机作为视频采集端，RTP通过UDP传输能够正常连接播放，但是项目组要求用TCP实现，网上找了好多方法都是说在RTP的头部加四个字节，关键是也没说怎么加,加在哪个位置，有哪位大神帮我解决一下，RTP怎么通过TCP传输！！急死了都。。。。
ffmpeg命令行拉TCP的RTSP流的方法及使用测试记录——RTP over RTSP(TCP)
热门推荐
weixiao的博客
04-26 2万+
1、RTSP推流（1080P + h264编码）： ./demo /dev/video0 1920 1080 0 注：./demo 为本地自写的推流工具。 在流媒体服务器上出现如下图记录，则推流成功： 2、拉流播放视频测试： 语法：ffplay -i "拉流地址" -fflags nobuffer 注：nobuffer为实时播放 使用ffmpeg命令行播放： ffplay.exe rtsp://172.16.19.67/dev/video0 ...
【RTSP从零实践】12、TCP传输H264格式RTP包(RTP_over_TCP)的RTSP服务器(附带源码)
wkd_007的博客
07-16 1320
本文介绍了RTP_over_TCP的一些概念，以及TCP传输H264RTP包的RTSP服务器实现的步骤和细节，最后提供了实现的源代码，帮助读者学习理解。
RTP over RTSP包混合发送的解决办法
07-30 2715
禁止TCP数据的粘合，使接收端能够准确分出RTP和RTSP包。
基于TCP连接的RTSP协议分析
jyshuestc的专栏
10-15 5133
RTSP 概述    RTSP（Real Time Streaming Protocol），实时流传输协议，是TCP/IP协议体系中的一个应用层协议，控制实时数据的传送。RTSP提供了一个可扩展框架，使实时数据，如音频与视频的受控、点播成为可能。数据源包括现场数据与存储在剪辑中数据。该协议目的在于控制多个数据发送连接，为选择发送通道，如UDP、组播UDP与TCP，提供途径，并为选择基于RTP
使用RTP over RTSP流传输
最新发布
10-01
<think>我们尝试使用RTP over RTSP（即通过RTSP建立连接，然后通过RTP传输媒体数据）来处理视频流。由于之前的问题，我们可能需要更底层的处理或者使用专门的库来处理RTSP/RTP流。 然而，OpenCV的VideoCapture通常可以处理RTSP流，但有时对于复杂的认证或特定的传输协议可能支持不够好。考虑到错误500，服务器内部错误，我们可能需要检查URL的构造或者尝试使用其他库。 不过，根据要求，我们继续使用OpenCV，并尝试调整参数。 另一种方案是使用`ffmpeg-python`库，它提供了更灵活的方式来处理流，然后通过管道将帧传递给OpenCV。 这里给出两种方案： 方案1：使用OpenCV（调整参数，简化URL） 方案2：使用ffmpeg-python和OpenCV结合 我们先尝试方案1（简化URL和参数）： 根据之前的经验，服务器返回500可能是由于参数过多或格式问题。尝试逐步添加参数，或者只保留必要参数。 方案2：使用ffmpeg读取流，然后通过管道将视频帧传递给OpenCV。 由于问题描述要求使用RTP over RTSP，实际上RTSP通常就是通过RTP传输媒体流的，所以我们的调整主要是连接参数和方式。 我们首先尝试方案2，因为ffmpeg在处理RTSP流时更加灵活和健壮。 方案2代码示例： </think>### 使用 RTP over RTSP 流传输的 Python 实现 当处理 RTP over RTSP 流传输时，我们需要更底层的控制来处理媒体流的封装和解封装。以下是使用 Python 处理 RTP over RTSP 流的完整解决方案： ```python import cv2 import os import time from threading import Thread import queue import subprocess # 创建帧队列 frame_queue = queue.Queue(maxsize=10) def rtsp_stream_reader(url, queue): """使用FFmpeg读取RTSP流并放入队列""" os.environ["OPENCV_FFMPEG_CAPTURE_OPTIONS"] = "rtsp_transport;tcp" # 使用FFmpeg命令直接获取原始RTP流 command = [ 'ffmpeg', '-rtsp_transport', 'tcp', # 强制使用TCP传输 '-i', url, # 输入URL '-f', 'image2pipe', # 输出格式为图像管道 '-pix_fmt', 'bgr24', # OpenCV兼容的像素格式 '-vcodec', 'rawvideo', # 原始视频编解码器 '-analyzeduration', '10000000', # 增加分析持续时间 '-probesize', '32', # 探测大小 '-' ] # 启动FFmpeg进程 pipe = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.DEVNULL, bufsize=10**8) # 视频帧尺寸（需要根据实际流调整） width, height = 1280, 720 # 示例尺寸，需适配实际流 while True: try: # 读取原始帧数据 raw_frame = pipe.stdout.read(width * height * 3) if len(raw_frame) != width * height * 3: # 帧不完整，跳过 continue # 转换为numpy数组 frame = np.frombuffer(raw_frame, dtype='uint8').reshape((height, width, 3)) # 放入队列（非阻塞） try: queue.put(frame, block=False) except queue.Full: # 队列已满，丢弃最老的帧 try: queue.get_nowait() except queue.Empty: pass queue.put(frame, block=False) except Exception as e: print(f"流读取错误: {e}") break pipe.terminate() def display_frames(queue): """从队列获取并显示帧""" while True: try: frame = queue.get(timeout=2.0) cv2.imshow('RTP over RTSP Stream', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break except queue.Empty: print("等待帧超时...") break cv2.destroyAllWindows() def main(): # RTSP流URL url = ('rtsp://183.207.116.127:554/32040000001315202601' '?DstCode=01&ServiceType=1&ClientType=1&StreamID=1' '&SrcTP=2&DstTP=2&SrcPP=2&DstPP=1' '&MediaTransMode=0&BroadcastType=0&SV=0' '&Token=i9+OmfMniNoJU5k7B2nx2lvtG6nwXzYW' '&DomainCode=eaa02fadbda94c3286d1ed244e18ada6' '&UserId=4&transport=tcp') # 启动流读取线程 reader_thread = Thread(target=rtsp_stream_reader, args=(url, frame_queue)) reader_thread.daemon = True reader_thread.start() # 给FFmpeg一些时间初始化 time.sleep(2) # 启动显示线程 display_thread = Thread(target=display_frames, args=(frame_queue,)) display_thread.start() display_thread.join() if __name__ == "__main__": import numpy as np main() ``` ### RTP over RTSP 实现原理 1. **协议栈结构**： ```mermaid graph TD A[RTP - Real-time Transport Protocol] --> B[RTCP - RTP Control Protocol] B --> C[RTSP - Real Time Streaming Protocol] C --> D[TCP/UDP - 传输层] ``` 2. **关键技术点**： - **RTP封装**：实时传输协议，负责媒体数据的封装和传输 - **RTCP控制**：监控QoS（服务质量）和同步信息 - **RTSP控制**：建立和控制媒体会话（PLAY, PAUSE, TEARDOWN） 3. **处理流程**： ```python 1. RTSP DESCRIBE 请求获取媒体描述 2. RTSP SETUP 建立传输通道 3. RTSP PLAY 开始传输 4. RTP数据包通过指定通道传输 5. RTCP报告同步和质量信息 6. RTSP TEARDOWN 结束会话 ``` ### 高级特性实现 #### 1. RTSP会话管理 ```python import socket class RTSPSession: def __init__(self, url): self.url = url self.sequence = 0 self.session_id = None self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server, port = self._parse_url(url) self.sock.connect((server, port)) def _parse_url(self, url): # 简化实现：实际应解析URL各部分 return "183.207.116.127", 554 def send_command(self, method, headers=None): self.sequence += 1 cmd = f"{method} {self.url} RTSP/1.0\r\n" cmd += f"CSeq: {self.sequence}\r\n" if self.session_id: cmd += f"Session: {self.session_id}\r\n" if headers: for k, v in headers.items(): cmd += f"{k}: {v}\r\n" cmd += "\r\n" self.sock.send(cmd.encode()) return self.sock.recv(4096).decode() def describe(self): response = self.send_command("DESCRIBE", {"Accept": "application/sdp"}) # 解析SDP获取媒体信息 return response def setup(self, transport): response = self.send_command("SETUP", {"Transport": transport}) # 解析Session ID和端口 return response def play(self): response = self.send_command("PLAY", {"Range": "npt=0.0-"}) return response def teardown(self): response = self.send_command("TEARDOWN") self.sock.close() return response ``` #### 2. RTP包解析器 ```python class RTPParser: def __init__(self): self.buffer = bytes() def parse_packet(self, data): # RTP头部格式解析 # 0 1 2 3 # 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 # +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ # |V=2|P|X| CC |M| PT | sequence number | # +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ # | timestamp | # +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ # | synchronization source (SSRC) identifier | # +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ if len(data) < 12: return None # 无效RTP包 # 解析头部 version = (data[0] >> 6) & 0x03 padding = (data[0] >> 5) & 0x01 extension = (data[0] >> 4) & 0x01 csrc_count = data[0] & 0x0F marker = (data[1] >> 7) & 0x01 payload_type = data[1] & 0x7F sequence = int.from_bytes(data[2:4], 'big') timestamp = int.from_bytes(data[4:8], 'big') ssrc = int.from_bytes(data[8:12], 'big') # 计算头部长度 header_length = 12 + (csrc_count * 4) if extension: ext_len = int.from_bytes(data[header_length+2:header_length+4], 'big') * 4 header_length += 4 + ext_len # 提取有效载荷 payload = data[header_length:] return { 'version': version, 'padding': padding, 'extension': extension, 'csrc_count': csrc_count, 'marker': marker, 'payload_type': payload_type, 'sequence': sequence, 'timestamp': timestamp, 'ssrc': ssrc, 'payload': payload } ``` ### 关键注意事项 1. **传输协议选择**： - **TCP**：更可靠，适合不稳定网络 - **UDP**：更低延迟，但对丢包敏感 2. **时间戳处理**： - RTP使用32位时间戳，需要处理翻转 - 使用RTCP SR包同步时间戳和NTP时间 3. **错误恢复机制**： - 序列号检测处理丢包 - RTCP NACK反馈请求重传 - 关键帧请求恢复 4. **性能优化**： - 使用零拷贝技术处理帧数据 - 多线程处理网络I/O和图像解码 - GPU加速解码（当可用时）
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值