大牛直播SDK

简单来说，之前推送端SDK支持的功能，内置轻量级RTSP服务SDK后，功能继续支持，并实现了从单一RTMP音视频数据推送到多元本地服务供给的关键跨越，全方位契合用户于内网场景下不断衍生的多样化诉求。的场景，支持H.264/H.265，支持RTSP鉴权、单播、组播模式，考虑到单个服务承载能力，我们支持同时创建多个RTSP服务，并支持获取当前RTSP服务会话连接数。，实现本地的音视频数据（如摄像头、麦克风），编码后，汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL，轻量级RTSP服务

好多开发者在用过大牛直播SDK的RTSP播放器后，都希望我们也分享下，如何在Windows平台实现低延迟的RTSP播放？：不管你是使用VLC还是大牛直播SDK的SmartPlayer播放器，找到设置缓存相关选项。通常，降低缓存时间可以减少延迟，当然，缓存值不宜过小，否则可能会导致播放卡顿。在网络状况较好的情况下，可以将缓存时间设置在100-200毫秒。不同的播放器设置方式可能不同，需要根据具体的播放器进行查找和调整。

UDP 协议不保证数据的可靠性，可能会出现丢包的情况，需要在播放端进行适当的错误处理。目前有一些专门的流媒体播放插件或 SDK 可以帮助降低延迟，例如大牛直播 SDK 等，它们针对 Unity 平台的 RTMP 和 RTSP 播放进行了优化，在一定程度上能够实现较低的延迟。可以先进行小规模的测试，对比不同插件在延迟方面的表现，选择最适合项目需求的插件。可以看到，整体延迟在毫秒级，比较好的网络环境下，甚至稳定在100ms左右，应该可以满足大多数低延迟场景，比如监控、无人机巡检、智能机器人控制等。

在Windows 平台上实现 RTSP 播放器的实时音量调节，比如使用常见播放器（VLC Media Player 和 PotPlayer）自带的音量调节功能，包括在播放界面拖动音量滑块和使用键盘快捷键，也可以通过操作系统的音频控制调节，如任务栏音量图标和控制面板中的声音设置。上述代码中，slider_audio_volume是一个用于获取用户设置的音量值的控件，GetPos()方法获取该控件当前的位置，即用户设置的音量值，然后通过SetAudioVolume()函数将该音量值设置到播放器中。

支持多路流媒体的转发和处理，例如可以将多个摄像头的视频流、屏幕共享的内容等同时进行传输和组合，方便会议中展示不同的视角和内容。：支持 Windows、Linux（含麒麟操作系统）、Android、iOS 等主流操作系统，能够满足不同会议设备终端的需求，无论是在个人电脑、移动设备还是企业内部的特定操作系统环境下，都能确保会议音视频功能的稳定运行。：通过负载均衡技术，能够将会议的流量分配到多个服务器上，提高系统的承载能力和稳定性，避免因单点故障而影响会议的正常进行。当网络状况改善时，逐渐增加数据发送的速率。

这意味着它能够呈现出极其清晰、细腻的图像，观众可以看到更多的细节，比如在体育赛事直播中，运动员的表情、动作细节，赛场上的微小标识等都能清晰展现。：在城市的重要场所，如机场、火车站、广场等，8K 分辨率的监控摄像头可以清晰地拍摄到人员的面部特征、车辆的牌照号码等信息，提高安防监控的效果。例如，在机场的候机大厅，8K 监控摄像头可以同时监控多个登机口的人员情况，确保机场的安全运营。：在大型商场和购物中心的电子显示屏上，播放 8K 分辨率的广告和宣传视频，可以吸引顾客的注意力，提高广告的宣传效果。

主要适用于直播应用的开发，如在线教育、智慧教室|无纸化推屏|会议、运营商视频云平台、执法记录、电力巡检、智慧水利、智慧煤矿、管廊隧道、平衡操控、虚拟仿真实训教学、VR教育、云展会、金融双录、远程医疗、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载、传统硬件领域、媒体移动直播、应急指挥调度(针对保险、城管、交警、消防、公安等职能管理部门的单兵应急执法系统)、远程专家诊断、可视化巡检、(如电信/电力线路/铁路沿线/水利设施/油田/消防设施巡检)、移动视频安防监控，企业内训、监控对接等场景。

编码器会分析视频的每一帧，对于复杂的帧分配较高的码率以保证图像质量，对于简单的帧分配较低的码率以节省空间。在这些场景中，通过对视频内容的智能分析，可以更好地满足用户的需求，提高视频的观看效果。例如，在智能监控系统中，基于内容感知的码率控制可以对监控画面中的关键区域（如入口、重要设备等）分配较高的码率，以便在需要时能够清晰地查看这些区域的情况。

例如，对于 5.1 声道、采样率为 48000Hz、位深度为 24 位的音频，每个样本占用 3 个字节（24 位转换为 3 个字节）。例如，对于同样采样率为 44100Hz、位深度为 16 位、时长为 5 秒的立体声音频，总样本数量为 220500×2（左右声道各有相同数量的样本）。数据存储时，先存储左声道第一个样本的 2 个字节，再存储右声道第一个样本的 2 个字节，然后是左声道第二个样本、右声道第二个样本，以此类推。按照特定的声道顺序依次存储每个声道的样本，同样可以采用交错或非交错的方式。

例如，对于一个 1GB 大小的 H.264 视频文件，使用 H.265 编码可能只需要 500MB - 700MB 的存储空间，或者在相同的网络带宽下，H.265 可以传输更高质量的视频。例如，一个高清监控摄像头使用 H.264 编码可能需要 4Mbps 的带宽来传输视频，而使用 H.265 编码可能只需要 2Mbps 的带宽，节省了一半的带宽资源。H.265 采用了一系列先进的编码技术，如更大的编码单元、更灵活的预测模式、更高精度的变换等，这些技术可以提高视频的编码效率，同时保持或提高视频质量。

快速启动接口调用的话，RTMP直播播放器，会快速绘制首帧，并追到最新的数据，实现更好的播放体验。

无线图传在网络条件允许的前提下，对时延要求非常高，本文以海康摄像头采集为例，通过大牛直播SDK的Windows平台RTSP实时拉取RTSP流，总体延迟在150-200ms左右（2560*1440，8M码率），不仅如此，Linux（含arrch64架构）、Android平台、iOS平台也可以达到同样的延迟水准。例如，在城市环境中，存在大量的无线信号源，如 Wi-Fi、蓝牙、手机信号等，无线图传技术可以通过频率选择、信号加密、纠错编码等方式，提高抗干扰能力，确保图像传输的稳定性。

Android平台内网RTSP网关模块，系内置轻量级RTSP服务模块扩展，完成外部RTSP/RTMP数据拉取并注入到轻量级RTSP服务模块工作，多个内网客户端直接访问内网轻量级RTSP服务获取公网数据，无需部署单独的服务器，支持RTSP/RTMP H.265数据接入。内置轻量级RTSP服务模块和内置RTSP网关模块，核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务，数据汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL，适用于内网环境下，对并发要求不高。

Android平台RTSP|RTMP播放器实现实时截图快照，选择JPEG还是 PNG 格式取决于具体的需求和应用场景。如果对图像质量要求较高且不关心文件大小，可以选择 PNG；如果需要控制文件大小且对图像质量要求不是特别苛刻，可以选择 JPEG。以上抛砖引玉，对RTSP|RTMP播放模块设计和使用感兴趣的开发者，可以单独跟我沟通探讨。

Android平台实现 RTSP 流录制，可以使用开源库FFmpeg、第三方库（SmartPlayer）。对于每种方法，详细说明了其特点、集成步骤以及示例代码。最后，RTSP录像，实现过程中需要注意权限管理、事件状态回调、性能优化、时间戳对齐、是否录制音频或视频，是否音频转aac再保存等。

实现 Android 上拉取 RTSP 流转发为 RTMP 流，可以通过使用强大的多媒体框架如 FFmpeg，或者利用专门的第三方库，也可以尝试自己实现协议转换，但这需要深入的技术知识和大量的编程工作。利用大牛直播SDK的SmartRelayModule，可以轻松实现几乎无延迟的RTSP到RTMP的转发。

Android WLAN低延迟模式为开发者提供了一种优化网络延迟的方式，但在使用时需要满足特定的条件，并且设备制造商也需要更新 WLAN 驱动程序和供应商 HAL 来支持该功能。特别是我们做音视频对延迟比较敏感的行业，可酌情参考。

在使用大牛直播 SDK 进行 Android 平台的 RTSP 多路播放时，还需要注意合理处理资源释放、异常情况处理以及根据实际网络环境和设备性能进行参数调整等问题，以确保播放的稳定性和流畅性。同时，确保已经正确配置了 RTSP 流的地址和相关权限。如果在开发过程中遇到问题，可以参考大牛直播 SDK 的官方文档或联系大牛直播的技术支持团队，从实际效果来看，Android平台RTSP播放延迟，可达到150-300ms延迟，可满足大多平衡操控技术诉求。

Android平台RTSP、RTMP播放器回调yuv数据，意义非常重大，既保证了低延迟传输解码，又可以通过回调解码后数据，高效率的投递给AI算法，实现视觉处理。ffmpeg实现还是SmartPlayer，各有利弊

从我发的Android平台RTSP转RTMP推送的demo界面，可以看到，这个demo，不是单纯的RTSP转RTMP推送的，还可以实现RTSP流获取后，回调上来解码后的数据，然后添加动态水印或其他处理后，把video数据二次编码推送出去。或者audio数据二次处理。RTSP转RTMP推送，好多开发者第一想到的是采用ffmpeg命令行的形式，如果对ffmpeg比较熟，而且产品不要额外的定制和更高阶的要求，未尝不可，如果对产品稳定性、时延、断网重连等有更高的技术诉求，比较好的办法，还是采用我们的技术实现。

上述是我们公司的海康摄像头，2560*1440分辨率，25帧，8M码率播放效果，左边是VLC，右边是SmartPlayer大概延迟情况，可以看到，VLC延迟在1.5秒左右，SmartPlayer的在200ms左右。SmartPlayer是大牛直播SDK旗下全自研内核，行业内一致认可的跨平台RTSP直播播放器SDK，功能齐全、高稳定、超低延迟，超低资源占用，适用于安防、教育、单兵指挥等行业。

总的来说，QUIC 和 RTMP 的结合可以为实时流媒体传输带来一些优势，但也面临一些挑战和限制。在实际应用中，需要根据具体的需求和场景进行评估和选择，以确定是否适合采用这种结合方式。同时，随着技术的不断发展，未来可能会出现更多更好的解决方案来满足实时流媒体传输的需求。

选择 Python还是 C++ 取决于具体的项目需求和应用场景。如果注重开发效率、快速原型设计和丰富的库支持，Python 是一个不错的选择；如果对性能要求极高或需要进行底层控制，C++ 可能更合适。在实际应用中，也可以结合两者的优势，使用 Python进行快速开发和原型设计，然后用 C++ 实现关键的性能瓶颈部分，我们在对接开发者的实时音视频低延迟诉求的时候，会用我们C C++开发的播放器SDK，通过YUV或RGB数据回调的形式，把数据返回到上层，然后上层通过和Python交互，实现数据二次处理。

做RTSP播放器容易，做个可以稳定用于实际场景的低延迟RTSP播放器，真的非常困难，首先，RTSP协议本身的复杂度，如果不涉及底层协议栈，只是开源的项目编译调试小修小改，遇到问题，很难处理。还有就是网络环境的不确定性，视频解码和播放的复杂性，视频同步问题的复杂性及考虑因素。大多数RTSP的播放都面向直播场景，所以，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTSP播放器非常重要的指标，目前大牛直播SDK的RTSP直播播放延迟比开源播放器更优异，而且长时间运行下，不会造成延迟累积。

它是专门针对视频监控系统中监控设备间通信而制定的标准，具有很强的规范性和权威性，主要用于保障公共安全领域视频监控系统的互联、互通、互控。支持视频流、音频流和数据流的传输和控制，具有设备注册、设备发现、视频预览、录像回放、报警事件通知和分发、设备控制等功能。：主要应用于大规模的公共安全视频监控联网系统，例如城市安防监控、交通监控、公安监控等场景。：是一种通用的协议，被广泛应用于各种流媒体设备和系统中，但不同厂家的设备在实现 RTSP 协议时可能存在一些差异，导致在某些情况下设备之间的兼容性可能会受到影响。

VLC for Android强调其功能丰富、性能出色、兼容性好等优点，更适合对延迟要求不是很苛刻的点播场景下，SmartPlayer是一个功能强大、性能优异、具有高度可定制性的流媒体播放器，适用于各种对视频播放质量和实时性要求较高的应用场景。：具有超低延迟的特点，在机器性能没有瓶颈的前提下，其 RTSP 播放器和 RTMP 播放器延迟可以达到业内领先的水平，适用于对实时性要求较高的场景，如安防监控、在线教育、互动直播等.

好多开发者希望找个更适合自己的RTSP播放器，下面四款RTSP播放器功能和使用场景比较，可以作为参考

RTSP在低延迟的直播场景下，意义重大，特别是好多监控摄像头，默认就是提供的RTSP流，如果播放器延迟足够低，技术方案非常简单，灵活性和可扩展性非常高。

好多开发者使用场景，除了实现基础的低延迟RTSP、RTMP播放外，还需要实现RTSP、RTMP流数据的本地录像功能。本文以大牛直播SDK的Windows平台播放模块为例，介绍下如何实现RTSP、RTMP流录像。

在无人驾驶的远程操控场景中，车辆行驶状态的变化需要迅速反馈给远程操作员，操作员的指令也需要尽快传达到车辆，延迟应尽可能控制在几百毫秒以内，以确保车辆能够及时响应操控指令，保持稳定行驶。例如在体育竞技中的平衡项目，如体操、花样滑冰等，可以通过多个摄像头从不同角度拍摄运动员的动作，为教练和裁判提供更全面的视角，以便准确评估运动员的平衡表现。在工业自动化领域，对大型设备的远程监控和操作需要稳定的音视频直播，以确保操作人员能够持续、准确地了解设备的运行状态，进行有效的平衡操控。

好多开发者在播放RTSP或RTMP流的时候，特别是多路播放的时候，希望能试试调节单个视频画面的声音（静音或放大缩小音量）

做RTMP、RTSP播放器容易，做个好的播放器，真的要投入几十倍的精力，大牛直播SDK始于2015年，通过自有框架、自适应算法、RTSP 播放器协议自动切换、缓冲时间设置以及底层原生模块等多方面的优化，共同保证了超低延迟的播放体验。在实际应用中，这些技术手段相互配合，根据不同的网络环境和硬件条件进行自动调整，为用户提供了高质量、低延迟的直播服务。

介绍了 RTMP 直播推送 SDK、RTMP 直播播放 SDK、RTSP 直播播放 SDK、录像 SDK、转发 SDK、轻量级 RTSP 服务 SDK、SEI 扩展数据发送/接收 SDK。

WebRTC和SRT也都有适用的场景，WebRTC已经非常成熟，SRT实际上我们之前也有做过，只是没有对外发布，以目前我们的经历，能把RTMP推送、RTMP播放、RTSP播放、RTSP转RTMP推送、轻量级RTSP服务和GB28181设备接入模块做到一梯队高水平，属实不易，随着后续音视频需求越来越多，我们也会做相应的调整和跟进，与时俱进，提供更优异的低延迟音视频直播解决方案。

Android平台GB28181接入SDK（SmartGBD），可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景，可能是业内为数不多功能齐全性能优异的商业级水准GB28181接入SDK。但它的延迟同样较高，不适用于实时交互场景，且由于较新，某些设备和浏览器可能不支持该协议。

RTMP、RTSP、RTP、HLS、DASH这些协议在流媒体传输领域各有特点，但也有一些共同点。分别在实时视频传输中各有优势，选择哪种协议取决于具体的应用场景、网络条件以及设备兼容性等因素。

直接在Unity中播放RTMP|RTSP流可能并不简单，因为Unity没有内置对RTMP|RTSP的直接支持。你需要根据你的具体需求（如是否需要实时交互、流的来源、你的技术栈等）来选择最合适的解决方案。对于大多数应用场景，使用插件或服务器端转码可能是最简单有效的方法，但不是效率最高的办法，特别是对延迟要求比较高的场景，可以考虑使用大牛直播SDK这种专业的Unity RTMP|RTSP播放模块，无论是延迟还是稳定性，均可达到业内顶级的水准。

笔者十几年前从事RTSP播放器底层开发的时候，被同事嗤之以鼻，说在做一个即将被时代抛弃的东西，hls、dash等才是行业发展的主流，十几年过去了，RTSP协议宝刀未老，在各行各业，依然扮演着重要的角色。

大多数RTSP的播放都面向直播场景，所以，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTSP播放器非常重要的指标，目前大牛直播SDK的RTSP直播播放延迟比开源播放器更优异，而且长时间运行下，不会造成延迟累积；好多开发者希望了解下RTSP播放器相关的技术实现，却又有很多人，止步于RTSP的繁琐复杂，本文我们先从RTSP规范层面，对协议栈有个粗浅的解读，然后配合RTSP播放器功能和接口设计，普及下RTSP播放器的实现逻辑。

iOS平台RTSP、RTMP直播播放模块，延迟低、资源占有少，性能优异。由于设备和系统比较单一，优先考虑硬解码，除了基础播放外，我们还实现了实时快照、实时录像、实时回调YUV数据、实时音量调节等，实际体验下来，iOS平台RTMP和RTSP，可以轻松毫秒级。