Android -> Windows 多样化投屏方案

需求

投屏有两种方式：镜像屏幕和扩展屏幕，分别在两个屏幕上显示相同、不同的内容。

多样化场景下，需要结合两种方式，比如：

• 在两种方式下切换，某些页面（Activity）镜像投屏，某些需要在扩展屏另外展现不同的内容
• 两种方式叠加，在镜像上面显示部分不同的内容
• 部分区域镜像，类型PPT演讲者模式

方案

（一）多端互动

局域网发现

采用mDns相对更独立灵活一些，Android原生有API（NSD）。在Windows上需要应用自己集成mDns开发。

服务请求

采用定制推送协议，基于HTTP。

推送协议将来还要进一步扩展为本地HTTP服务。

​​​​​​​（二）投屏（镜像）

投屏依赖多端互动技术，另外包括4部分技术：屏幕截取、视频录制、视频传输，视频播放。

​​​​​​​屏幕截取

投屏中录制屏幕，在Android上相关技术有：

使用MediaProjection/VirtualDisplay，VirtualDisplay可以镜像屏幕（相同内容），也可以显示独立的内容。

使用Presentation可以实现扩展屏幕，扩展屏幕与主屏幕显示的内容不同。

使用屏幕镜像，如果不想显示隐私内容，需要设置SECRET标志，此时显示背景SurfaceView的默认内容。背景SurfaceView需要应用自行添加。

如果只投影主屏幕的一部分镜像到第二屏，那么一种可能的方案是用OpenGL截取部分纹理；另一种简单的方案是用Canvas在第二屏幕再次绘制。

​​​​​​​视频录制

考虑后续用ffplay播放，直接调用 MediaCodec，将输出的 h264 视频帧直接输出。

​​​​​​​视频传输

基于 sun http (com.sun.net.httpserver.HttpServer) 搭建一个简单的 HTTP 服务器。

​​​​​​​视频播放

主要考虑变帧率、低延迟支持。基础的WMP加载延迟不好控制，基本不考虑，需要进一步调研其他直接基于DShow的播放器。

Vlc会主动丢帧。

Ffplay在变帧率上表现可以，但是有5秒延迟。