大牛直播SDK

好多开发者在用过大牛直播SDK的RTSP播放器后，都希望我们也分享下，如何在Windows平台实现低延迟的RTSP播放？：不管你是使用VLC还是大牛直播SDK的SmartPlayer播放器，找到设置缓存相关选项。通常，降低缓存时间可以减少延迟，当然，缓存值不宜过小，否则可能会导致播放卡顿。在网络状况较好的情况下，可以将缓存时间设置在100-200毫秒。不同的播放器设置方式可能不同，需要根据具体的播放器进行查找和调整。

虚拟现实和增强现实应用VR 体验分享：在虚拟现实场景中，用户可以将自己的 VR 体验过程实时分享给其他人。例如，用户佩戴 VR 头显在一个用 Unity 开发的虚拟博物馆中参观，通过采集 camera 场景并推送 RTMP 流，其他人可以在电脑、手机或其他设备上同步观看用户的参观过程，仿佛身临其境。AR 导航直播：在一些特殊的应用场景中，如室内导航、户外探险等，使用 AR 技术结合 Unity 开发的应用可以将用户的视角和导航信息通过 RTMP 推流分享给其他人。

Windows平台如果对延迟和资源占有等，要求非常高，可以选择合适的低延迟RTSP或RTMP播放插件、优化播放参数设置、优化网络环境、优化代码和渲染流程。流播放之前，做好参数配置，如缓冲设置、解码模式、低延迟模式、网络协议设置等播放参数。感兴趣的开发者，可以单独跟我沟通探讨。

例如，对于一个 1GB 大小的 H.264 视频文件，使用 H.265 编码可能只需要 500MB - 700MB 的存储空间，或者在相同的网络带宽下，H.265 可以传输更高质量的视频。例如，一个高清监控摄像头使用 H.264 编码可能需要 4Mbps 的带宽来传输视频，而使用 H.265 编码可能只需要 2Mbps 的带宽，节省了一半的带宽资源。H.265 采用了一系列先进的编码技术，如更大的编码单元、更灵活的预测模式、更高精度的变换等，这些技术可以提高视频的编码效率，同时保持或提高视频质量。

直接在Unity中播放RTMP|RTSP流可能并不简单，因为Unity没有内置对RTMP|RTSP的直接支持。你需要根据你的具体需求（如是否需要实时交互、流的来源、你的技术栈等）来选择最合适的解决方案。对于大多数应用场景，使用插件或服务器端转码可能是最简单有效的方法，但不是效率最高的办法，特别是对延迟要求比较高的场景，可以考虑使用大牛直播SDK这种专业的Unity RTMP|RTSP播放模块，无论是延迟还是稳定性，均可达到业内顶级的水准。

好多开发者跟我们做技术交流的时候，会问我们，为什么有Unity3D的RTMP|RTSP播放模块，还有RTMP推送和轻量级RTSP服务模块，为什么不去支持虚幻引擎？大牛直播SDK的Unity3D支持模块广泛应用于在线教育、无纸化推屏/会议、智慧教室、直播答题、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载等多个领域。大牛直播SDK在Unity3D环境下提供了全面的直播支持模块，覆盖了从直播推送到直播播放的各个环节，并提供了丰富的特性和功能以满足不同场景下的需求。

在 Android 平台上，播放端 SDK 通过一系列接口和参数设置来实现直播播放的各种功能，如初始化、设置 license key、硬解码、音频输出、缓冲、RTSP 设置、实时静音、快速启动、低延迟模式等，并能处理相关事件。在 iOS 平台上，播放端 SDK 通过设置相关接口和参数来实现直播播放的功能，如初始化、设置 license key、获得句柄、设置 GameObject、硬解码、缓冲、RTSP 设置、实时静音、快速启动、低延迟模式等，并能进行快照和录像设置。

由于Unity对RTSP的直接支持有限，如果项目周期比较短，对延迟、稳定性要求非常高，可以选择比较成熟的插件，你需要考虑使用外部工具或库来转换或播放RTSP流。根据你的具体需求和项目类型（如PC、移动或WebGL），选择最适合你的方法。

好多开发者苦于很难在unity3d下实现RTMP直播推送，本次以大牛直播SDK（Github）的Windows平台RTMP推送模块（以推摄像头为例，如需推屏幕数据，设置相关参数即可）为例，介绍下unity3d的RTMP推送集成。简单来说，Unity3D环境下，可以直接调用C#的接口封装，针对此，我们先做了一层封装（nt_publisher_wrapper.cs），核心代码如下：初始化和基础参数设置： private bool InitSDK() { .

如果基于Unity3d完全重新开发一个播放器,代价大,周期长,不适合快速出产品，最好的方式就是集成现有Native平台上成熟稳定播放器.集成Navtive播放器可行性分析:安卓: Unity3d可以调用安卓java接口，这方面的例子很多，搜索能找到一大堆。IOS: Unity3d 可以调用C接口, c又可以调用object-c，那么C#--call-->C---call---object-c. 这类例子也非常多。Windows: Unity3d调用C#就不用说了，天生支持，C#调用c

如果基于Unity3d完全重新开发一个播放器,代价大,周期长,不适合快速出产品，最好的方式就是集成现有Native平台上成熟稳定播放器.集成Navtive播放器可行性分析:安卓: Unity3d可以调用安卓java接口，这方面的例子很多，搜索能找到一大堆。IOS: Unity3d 可以调用C接口, c又可以调用object-c，那么C#--call-->C---call---ob...

随着VR类、游戏类场景的快速发展，开发者对Unity3d低延迟的直播需求量越来越大，前两年，大牛直播SDK发布了Windows平台、Android平台和iOS平台的Unity3d RTMP和RTSP的播放，好多公司用起来体验都非常好，以下介绍大概实现流程。本文以Android平台为例，我们的实现：基于大牛直播SDK现有非常成熟的native RTMP和RTSP播放模块，回调解码后的原始数据，传...

背景尽管Windows平台有诸多优势，Linux平台的发展还是势不可挡，特别实在传统行业，然而Linux生态构建，总是差点意思，特别是有些常用的组件，本文基于已有的Linux平台RTSP、RTMP播放模块，构建Unity下的RTSP和RTMP直播播放。技术实现实际上，Unity层面这块没什么好介绍的，和Windows、Android、iOS平台一样，调用原生的播放模块，回调解码后的数据，在Unity绘制，主要的技术难点，还在原生的处理，也就是拉流、解码、回调数据这块。先上个只管感受图，本视频

随着zhihjiao无纸化同屏好多开发者苦于很难在unity3d下实现RTMP直播推送，本次以大牛直播SDK（Github）的Windows平台RTMP推送模块（以推摄像头为例，如需推屏幕数据，设置相关参数即可）为例，介绍下unity3d的RTMP推送集成。简单来说，Unity3D环境下，可以直接调用C#的接口封装，针对此，我们先做了一层封装（nt_publisher_wrapper.cs），核心代码如下：初始化和基础参数设置： private bool InitSDK().

好多开发者的使用场景，需要在Windows特别是Android平台实现Unity3D的全景实时视频渲染，本文以Windows平台为例，简单介绍下具体实现：如果是RTSP或RTMP流数据，实际上难点，主要在于拉取RTSP或RTMP流，解析解码，然后把解码后的YUV数据，回调到Unity层，Unity创建个Sphere，创建个材质球(Material)，并把材质球挂在到Sphere即可。本文以Windows推送端采集全景视频，编码推送到RTMP服务器，播放端拉流回调数据并在Unity渲染为例（左侧是Un

以上是Linux平台下Unity RTMP、RTSP直播播放器大概的实现参考，随着国产操作系统的推进，Linux下RTMP、RTSP高质量的播放器需求越来越大，Unity下，可以实现和Windows、Android等平台统一开发管理，非常方便。感兴趣的公司或开发者，可以单独跟我沟通探讨。

技术背景随着物联网等行业的崛起，越来越多的传统行业如虚拟仿真、航天工业、工业仿真、城市规划等，对Linux下的生态构建，有了更大的期望，Linux平台下，可选的直播推拉流解决方案相对Windows和移动端，非常少，基于Unity的Linux推送方案，更是几无参考。本文以Unity3d环境下Linux平台推送Unity窗体和Unity采集的音频，然后编码推送到RTMP服务器为例，大概说下实现过程。技术实现本文以采集Unity窗体数据为例，如果需要对接摄像头和屏幕亦可。简单来说，高效率的获取到原始的

背景随着技术发展的日新月异，虚拟现实产业已经从过去的探索期，自2020年起，慢慢过渡到高速发展期，随着5G时代的到来，大带宽高可靠低延迟网络环境，为虚拟现实产业提供了很好的网络保障，虚拟现实在越来越多的场景下有了应用价值，典型场景如工业互联网、虚拟仿真、文旅文博、智慧交通、智慧能源、智慧医疗、智慧校园、智慧农业等。同事，行业也对清晰度、流畅性和交互感也提出了更高的要求。本文从Android平台的采集推送为例，介绍下基于头显或类似终端的低延迟解决方案。实现大多数头显设备，基于Android平台，本

在本文之前，我们发布了Unity环境下的RTMP推流和RTMP|RTSP拉流低延迟的解决方案，今天做个整体汇总，权当抛砖引玉。关于如何实现Unity环境下低延迟的音视频解决方案。

像Unity3D下的RTMP或RTSP播放器一样，好多开发者苦于在Unity环境下，如何高效率低延迟的把数据采集并编码实时推送到流媒体服务器，实现Unity场景下的低延迟推拉流方案。本文以Android平台为例，大概介绍下Unity环境下的Android平台RTMP推流，废话多说，先上图看效果。下图系Android平台Unity环境下采集屏幕，编码推送到RTMP服务器，然后Windows平台播放器拉取RTMP流播放，为了方便看到延迟效果，特地在Android端的Unity窗口显示了当前时间，可以看到

Unity下RTMP直播背景方面不再赘述，今天主要讨论的是，Unity环境下，如何实现Camera高帧率RTMP推送，这里提到的高帧率，不再局限于常规环境下的30帧，以VR头显为例，更高的帧率（比如50帧），体验会更好。之前，我们老早实现了Unity环境下的RTMP低延迟推送，原生环境下，比如windows下，可轻松实现50帧+的编码和RTMP推送（需要播放端也有高帧率播放的能力）。Android平台Unity推送Camera。Windows平台Unity推送Camera。

GB28181标准中的Broadcast和Talk在功能、通信方式、交互流程、应用场景和技术实现等方面都存在明显的区别。这些区别使得它们能够适用于不同的视频监控和通信需求场景。

使用Unity RTMP播放器播放8K流需要综合考虑硬件、软件、网络带宽和稳定性等多个方面的因素。通过选择合适的插件、配置播放器、优化网络带宽和稳定性以及进行调试和优化等步骤，可以实现高质量的8K视频流播放。以Android平台为例，通过实际测试，在quest3头显，配合我们的RTSP|RTMP播放器，在unity下，可以实现毫秒级延迟的8K视频数据播放，如果是Windows平台，设备性能相对会更好一些。

我们播放RTSP|RTMP流，如果需要同时做渲染和算法分析的话，特别是渲染在上层实现（比如Unity），算法是python这种情况，拉两路流，更耗费带宽和性能，拉一路流，同时回调YUV和RGB数据也可以，但是更灵活的是本文提到的按需转算法期望的RGB数据，然后做算法处理。以上是大概的逻辑实现，感兴趣的开发者，可以单独跟我交流。

RTSP播放器可广泛应用于对延迟要求比较高的场景下，比如协同操控相关的智能机器人或无人机、实时视频监控、远程视频会议、网络电视等。通过控制信令实现对流媒体数据的远程控制和传输管理。

通过实际测试，在quest3头显，配合我们的RTSP|RTMP播放器，在unity下，可以实现毫秒级延迟的8K视频数据播放，以满足平衡操控等对实时性要求非常高的使用场景，感兴趣的开发者，可以单独跟我探讨。：我们的做法，是用大牛直播SDK的原生的RTSP|RTMP播放器，硬解码模式，回调解码后的YUV或RGB数据到unity，需要注意的是，由于8K的RTSP|RTMP流，数据量非常大，特别是解码后的数据，条件允许的情况下，需要尽可能少的减少拷贝。：播放器需要具备强大的解码能力，以处理8K视频流中的大量数据。

VR头显下播放超高分辨率的RTSP或RTMP，实现低延迟的播放，意义很大，比如平衡操控场景下，可以远程操控挖掘机等危险设备，提高工作效率、改善工作环境、降低安全风险、节约人力成本。在虚拟仿真、无人机操控等场景下也意义重大，感兴趣的开发者，可以单独跟我交流。

2018年，我们开始在原生RTSP|RTMP直播播放器的基础上，对接了Unity环境下的低延迟播放，毫秒级延迟，发布后，就得到了业内一致的认可。然后我们覆盖了Windows、Android、iOS、Linux的RTMP推送、轻量级RTSP服务和RTSP|RTMP播放。

Unity场景下采集摄像头数据并编码打包推送到RTMP服务器或轻量级RTSP服务，采集获取数据不麻烦，主要难点在于需要控制投递到原生模块的帧率，比如设置30帧，实际采集到的数据是50帧，需要均匀的处理数据投递，达到既流畅延迟又低。配合SmartPlayer播放测试，无论是RTMP推送还是轻量级RTSP服务出来的数据，整体都在毫秒级延迟，感兴趣的开发者，可以跟我沟通交流测试。

Unity平台下RTMP推送、录像、轻量级RTSP服务，在虚拟仿真、医疗、教育等场景下，应用非常广泛。要实现低延迟，除了需要高效率的音视频数据采集，编码和数据投递外，还需要好的直播播放器支持。配合我们的SmartPlayer，可轻松实现毫秒级体验，满足绝大多数应用场景技术诉求。

2. 虚拟演唱会或演出：在虚拟演唱会或演出中，可以使用RTMP直播将演出现场的视频内容传输到观众的设备上。3. 虚拟展览或展示活动：虚拟展览或展示活动中，可以使用RTMP直播将展馆内的各种展品、展示内容实时传输到观众的设备上。1. 虚拟演讲会议：虚拟会议中，可以使用RTMP直播将演讲者的视频和音频内容传输到参会者的设备上。4. 虚拟教育培训：在虚拟教育培训中，可以使用RTMP直播将老师的教学内容传输到学生的设备上。在虚拟数字人场景中，RTMP直播可以用于实现实时的视频、音频和互动内容的传输和展示。

智能眼镜大多在Unity平台下，先说采集编码推送，不管是camera还是窗体数据也好，主要是高效率的拿到原始数据，采集端可用的数据格式是RGB的，拿到之后，通过高效率的数据传递，发给封装后的原生SDK，完成数据编码和RTMP推送，播放端，需要尽可能的低延迟，达到可以实时控制的目的。

以大牛直播SDK为例，我们在做Unity下RTMP或RTSP直播播放的时候，大多场景对延迟和资源占有要求非常高，鉴于好多时候，特别是头显终端，性能可能不尽人意，需要播放的视频分辨率码率又高，如何高效率的实现低延迟的RTMP或RTSP播放，是Unity下比较棘手的问题，特别是毫秒级延迟。以Android平台为例，原生模块拿到RTSP或RTSP流后，解码获取到原始的YUV或RGB数据，然后投递给Unity，Unity下如果需要更低的延迟，数据交互这块，尽可能的高效率，尽可能的减少数据的投递和拷贝。

好多开发者问我们，Unity环境下，除了RTSP或RTMP的播放，如果有录像诉求，怎么实现？实际上录像相对播放来说，更简单一些，因为不涉及到绘制，只要拉流下来数据，直接写mp4文件就好了。其中OpenPlayerHandle()实现如下，通过调用Open()接口生成个player实例句柄，然后后续针对这个句柄操作即可，如果同一个实例句柄下需要播放，直接调用播放接口就好了。以上是Unity平台RTMP或RTSP播放端录像相关接口设计和调用实例，感兴趣的开发者可以参考。

Unity3D下采集camera场景并推送RTMP具有重要的意义，可以为实时监控、在线直播、视频教程制作、增强现实和虚拟现实应用以及数据记录和分析等领域提供有力的支持。比如，采集camera场景可以用于增强现实和虚拟现实应用。在AR中，可以通过采集实际场景的画面，将虚拟元素与现实场景进行融合，增强沉浸感和互动性。

上面大概介绍了颜色编码格式常用的类型区别和接口设计，基本上涵盖了可能用到的所有类型，如果是编码后的H.264、H.265数据，我们也做了相关的设计，不管是自带的数据类型还是第三方外部数据对接（如Unity采集的数据），都可以很容易对接进来。

通过实际测试来看，VR头显端，如果设备性能尚可的话，播放RTMP或RTSP，可实现毫秒级的延迟，可满足大多数有交互诉求的技术场景，此外，如果头显端支持硬解码的话，可以优先考虑硬解码。

我们在做Windows平台Unity播放RTMP或RTSP的时候，遇到这样的问题，比如展会、安防监控等场景下，需要同时播放多路RTMP或RTSP流，这样对设备性能，提出来更高的要求。如果系统支持硬解码，开启后，可以明显看到CPU占用，会有一定的改善，在多路播放的场景下，还是非常必要，感兴趣的开发者，可以参考设计。如果支持，设置H.264、H.265硬解码。检测系统是否支持硬解码。

Unity全景播放RTMP或RTSP实时流，可以广泛用于各种需要提供真实场景或沉浸式体验的场景，为用户带来更加逼真的体验。与此同时，Unity全景实时播放，需要有非常高的延迟要求和性能要求，特别是全景数据源，分辨率和码率都非常高，对解码效率和解码后的数据拷贝投递，提了更高的要求。

Unity下的“多端同屏”云渲染以及相关可视化平台解决方案，成为助力了工业领域数字化转型。除上述场景外，还需要考虑多实例多camera模式，实现高效率低延迟和低资源占有的互动体验。