基于串流技术的p2p共享桌面共享方案

     研究远控有一定时间了,但真正落地运用的不多,所以也不太上心,平时也只是自己diy玩玩,远程共享看看电视剧。

    最近生成式ai大火,直接带动了gpu应用的相关场景,相关场景,但gpu卡又贵,对算力共享的渴望让我对桌面分享又一次看到了希望。
  很早以前都听说游戏串流以其低延迟高分辨率和跨平台的技术特点引领远控场景,虽然以前基于vpu的硬件版远控也玩得比较熟了。但对gpu版本的远控并不熟悉。于是借这个春节假期好好的研究了一下串流技术。整合进我的闭环p2p边缘级联音视频推流系统中。
     整体来看串流技术主要分成三个模块,跟大多数iot音方视频推拉流没有什么两样,也就是采集编码,传输,控制反馈。
     为了低延迟,采集编码尽量在gpu中,支持h264 h265 av1 等大分辨率4K高刷60甚至120fps,n卡amd及intel的显卡都有对应的sdk实现,但是要自适应多种平台软硬件还是相当麻烦。
     传输基本上串流跟webrtc类似,主要是rtp udp传输加大剂量fec,不吝啬带宽大力出奇迹,为了内网穿透很多用上了upnp技术,不过比起全方位可信令交互生态完善的ice在业务场景上的自由度还是差点意思,所以我改进了传输,优化了底层,融入了我自己写的闭环信令系统,方便业务逻辑控制,也完全实现了内网p2p,甚至多内网级联分享,关键是可以在我的浏览器播放器中使用,支持h265的大分辨率桌面共享,可以像推拉流一样享受远程桌面,同时集成业务级的关联逻辑控制和设备管理。
     控制方面,游戏串流真心做得不错,手柄,鼠标,键盘,模拟器驱动应有尽有,控制方案也是采用系统的调用接口比如SendInput 是一个 Windows API 函数,用于模拟用户输入。它可以通过发送鼠标和键盘事件来模拟用户的操作行为,例如键盘按键、鼠标移动、鼠标点击等。

      我在我的华硕笔记本电脑和华为手机上做了实测验证,效果令人满意,以下是局域网延迟截图,相比hdmi in的外接硬件采集方案延迟也从最低50-60ms降低至15-16ms ,gpu和网络占用也可以接受,望大佬们指点。

2de02f2b7dd94356829c2f9afb72c489.jpg

 375b9a6f28ee409782756e6872e1e1ec.png

c536d318a96a4216a4a173b8bc4b067a.jpg bcf405034e2a4b33a2122a9c11e07c3a.jpg

 

83cca7cdb06d48debdb2a108bd52c711.webp 

 

  • 7
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值