研究一波虚幻的像素流协议

最新推荐文章于 2024-01-26 12:06:18 发布

xosg

最新推荐文章于 2024-01-26 12:06:18 发布

阅读量1.5k

点赞数

文章标签：编程语言 css js html svg

本文链接：https://blog.csdn.net/zipack/article/details/113362154

版权

PixelStreamer魔改自虚幻引擎的“SignallingWebServer”：

Epic Games\UE_4.26\Engine\Source\Programs\PixelStreaming\WebServers\SignallingWebServer

即信令网页服务器，删除了其中90%以上的无用代码和库，解决了许多bug，成就了一个超轻量，上手即用的像素流前端库和信令服务器。

先复习一下WebRTC技术，相关内容推荐：

WebRTC主要是为了解决“即时音视频通讯”的需求的，这类需求要求极低的延迟，单位时间内的数据量又很大，所以非常挑战压缩算法。

像素流协议

PixelStreamer最核心的基础组件是虚幻引擎像素流插件定义的“像素流协议”，其中分2个部分，分别是基于DataChannel的二进制消息格式，和基于WebSocket和信令服务器之间的JSON格式。

DataChannel二进制协议格式：

https://github.com/EpicGames/UnrealEngine/blob/release/Engine/Plugins/Media/PixelStreaming/Source/PixelStreaming/Private/ProtocolDefs.h

键盘映射定义：

https://github.com/EpicGames/UnrealEngine/blob/release/Engine/Plugins/Media/PixelStreaming/Source/PixelStreaming/Private/JavaScriptKeyCodes.inl

整体架构

沉浸式鼠标API是一个黑科技，当指定一个dom元素进入PointerLock之后，鼠标隐藏掉，同时鼠标的运动感知不到元素的边界，即在任意方向上可以无线运动，这种使用体验很符合3D人物的操作习惯。

目前主流的会话凭证是利用localStorage+Authoriation头部实现JWT的存储，很遗憾，这3样东西都是文本格式的，如果想要存储为二进制格式，需要另3样技术：CachesAPI、http2.0、二进制token格式。

项目地址：https://github.com/JinHengyu/PixelStreamer

关注