乐学吧

通过实际测试，在quest3头显，配合我们的RTSP|RTMP播放器，在unity下，可以实现毫秒级延迟的8K视频数据播放，以满足平衡操控等对实时性要求非常高的使用场景，感兴趣的开发者，可以单独跟我探讨。：我们的做法，是用大牛直播SDK的原生的RTSP|RTMP播放器，硬解码模式，回调解码后的YUV或RGB数据到unity，需要注意的是，由于8K的RTSP|RTMP流，数据量非常大，特别是解码后的数据，条件允许的情况下，需要尽可能少的减少拷贝。：播放器需要具备强大的解码能力，以处理8K视频流中的大量数据。

VR头显下播放超高分辨率的RTSP或RTMP，实现低延迟的播放，意义很大，比如平衡操控场景下，可以远程操控挖掘机等危险设备，提高工作效率、改善工作环境、降低安全风险、节约人力成本。在虚拟仿真、无人机操控等场景下也意义重大，感兴趣的开发者，可以单独跟我交流。

2018年，我们开始在原生RTSP|RTMP直播播放器的基础上，对接了Unity环境下的低延迟播放，毫秒级延迟，发布后，就得到了业内一致的认可。然后我们覆盖了Windows、Android、iOS、Linux的RTMP推送、轻量级RTSP服务和RTSP|RTMP播放。

Unity场景下采集摄像头数据并编码打包推送到RTMP服务器或轻量级RTSP服务，采集获取数据不麻烦，主要难点在于需要控制投递到原生模块的帧率，比如设置30帧，实际采集到的数据是50帧，需要均匀的处理数据投递，达到既流畅延迟又低。配合SmartPlayer播放测试，无论是RTMP推送还是轻量级RTSP服务出来的数据，整体都在毫秒级延迟，感兴趣的开发者，可以跟我沟通交流测试。

Unity平台下RTMP推送、录像、轻量级RTSP服务，在虚拟仿真、医疗、教育等场景下，应用非常广泛。要实现低延迟，除了需要高效率的音视频数据采集，编码和数据投递外，还需要好的直播播放器支持。配合我们的SmartPlayer，可轻松实现毫秒级体验，满足绝大多数应用场景技术诉求。

2. 虚拟演唱会或演出：在虚拟演唱会或演出中，可以使用RTMP直播将演出现场的视频内容传输到观众的设备上。3. 虚拟展览或展示活动：虚拟展览或展示活动中，可以使用RTMP直播将展馆内的各种展品、展示内容实时传输到观众的设备上。1. 虚拟演讲会议：虚拟会议中，可以使用RTMP直播将演讲者的视频和音频内容传输到参会者的设备上。4. 虚拟教育培训：在虚拟教育培训中，可以使用RTMP直播将老师的教学内容传输到学生的设备上。在虚拟数字人场景中，RTMP直播可以用于实现实时的视频、音频和互动内容的传输和展示。

智能眼镜大多在Unity平台下，先说采集编码推送，不管是camera还是窗体数据也好，主要是高效率的拿到原始数据，采集端可用的数据格式是RGB的，拿到之后，通过高效率的数据传递，发给封装后的原生SDK，完成数据编码和RTMP推送，播放端，需要尽可能的低延迟，达到可以实时控制的目的。

以大牛直播SDK为例，我们在做Unity下RTMP或RTSP直播播放的时候，大多场景对延迟和资源占有要求非常高，鉴于好多时候，特别是头显终端，性能可能不尽人意，需要播放的视频分辨率码率又高，如何高效率的实现低延迟的RTMP或RTSP播放，是Unity下比较棘手的问题，特别是毫秒级延迟。以Android平台为例，原生模块拿到RTSP或RTSP流后，解码获取到原始的YUV或RGB数据，然后投递给Unity，Unity下如果需要更低的延迟，数据交互这块，尽可能的高效率，尽可能的减少数据的投递和拷贝。

好多开发者问我们，Unity环境下，除了RTSP或RTMP的播放，如果有录像诉求，怎么实现？实际上录像相对播放来说，更简单一些，因为不涉及到绘制，只要拉流下来数据，直接写mp4文件就好了。其中OpenPlayerHandle()实现如下，通过调用Open()接口生成个player实例句柄，然后后续针对这个句柄操作即可，如果同一个实例句柄下需要播放，直接调用播放接口就好了。以上是Unity平台RTMP或RTSP播放端录像相关接口设计和调用实例，感兴趣的开发者可以参考。

Unity3D下采集camera场景并推送RTMP具有重要的意义，可以为实时监控、在线直播、视频教程制作、增强现实和虚拟现实应用以及数据记录和分析等领域提供有力的支持。比如，采集camera场景可以用于增强现实和虚拟现实应用。在AR中，可以通过采集实际场景的画面，将虚拟元素与现实场景进行融合，增强沉浸感和互动性。

上面大概介绍了颜色编码格式常用的类型区别和接口设计，基本上涵盖了可能用到的所有类型，如果是编码后的H.264、H.265数据，我们也做了相关的设计，不管是自带的数据类型还是第三方外部数据对接（如Unity采集的数据），都可以很容易对接进来。

通过实际测试来看，VR头显端，如果设备性能尚可的话，播放RTMP或RTSP，可实现毫秒级的延迟，可满足大多数有交互诉求的技术场景，此外，如果头显端支持硬解码的话，可以优先考虑硬解码。

我们在做Windows平台Unity播放RTMP或RTSP的时候，遇到这样的问题，比如展会、安防监控等场景下，需要同时播放多路RTMP或RTSP流，这样对设备性能，提出来更高的要求。如果系统支持硬解码，开启后，可以明显看到CPU占用，会有一定的改善，在多路播放的场景下，还是非常必要，感兴趣的开发者，可以参考设计。如果支持，设置H.264、H.265硬解码。检测系统是否支持硬解码。

Unity全景播放RTMP或RTSP实时流，可以广泛用于各种需要提供真实场景或沉浸式体验的场景，为用户带来更加逼真的体验。与此同时，Unity全景实时播放，需要有非常高的延迟要求和性能要求，特别是全景数据源，分辨率和码率都非常高，对解码效率和解码后的数据拷贝投递，提了更高的要求。

Unity下的“多端同屏”云渲染以及相关可视化平台解决方案，成为助力了工业领域数字化转型。除上述场景外，还需要考虑多实例多camera模式，实现高效率低延迟和低资源占有的互动体验。

实际上，Unity环境下的RTSP转RTMP推送，相对RTMP、RTSP播放或推流，对接更容易，因为基本不涉及到页面交互，感兴趣的开发者可以尝试看。

Unity下实现RTMP或RTSP无论是播放还是录像，甚至快照，说难不难，但是做好真的比较难，特别是移动端，Unity和原生层交互的时候，数据交互效率相对较低，需要尽可能减少拷贝。录像的话，还需要考虑硬件性能瓶颈。此外，还需要逻辑分离，确保播放和录像相互不影响，以上是抛砖引玉，感兴趣的开发者，可以自行参考实现，如果需要单独和我交流的，可以相互交流。

轻量级RTSP服务和RTMP推送的区别在于，轻量级RTSP服务不需要单独部署流媒体服务器（类似于网络摄像头），在内网小并发场景下，使用起来非常方便，如果需要上公网，还是需要用RTMP推送，感兴趣的开发者可酌情参考。

Unity下实现RTMP或RTSP流录像，相对来说技术难度不大，甚至不需要操作UI即可完成。需要注意的是，Windows平台录制特别是多路录制受限于磁盘IO写入等，如果录制多路，可能会存在硬件性能瓶颈。此外，录像和播放，共用一个player实例即可，播放和录像，设计需要考虑逻辑完全分离，比如可只播放或只录制，亦或播放的过程中随时录制，或者录像的过程中随时播放。

好多开发者在做虚拟仿真、VR教育等场景的时候，遇到个问题，想把头显里面的画面在内网环境下低延迟的同步出来，又不想单独部署流媒体服务器。上图展示的是，Android的Unity下Camera场景获取到texture数据编码后，注入RTSP服务和RTMP推送模块。轻量级RTSP服务，由于不需要单独部署流媒体服务器，在内网小并发场景下，使用起来非常方便，感兴趣的开发者可酌情参考。由于我们原生Android平台轻量级RTSP服务已经有多年积累，本次只是把相关的接口，同步过来。

麦克风和外部PCM数据混音，实际上是为了达到类似授课或者讲解过程中，自带背景音的效果，需要注意的是，AudioClip读到的是float类型的数据，有些音频编码器需要sint16格式，也可以在上层或者底层做下转换。视频采集这块，不再是难题，用ReadPixels从当前Render Target读取到图像数据即可，视频编码的话，我们分软编码、硬编码两块，硬编码，我们又实现了native层的硬编（5.0+以上版本），效率更高，native层我们做的可圈可点的一个地方是，armv7a也可以支持。