#Scrcpy 源码分析
写在前面:本文的主旨为分析Scrcpy大致原理,因此对于细节部分就不予深究,本文的Scrcpy版本基于1.22。
一、什么是Scrcpy
Scrcpy(screen copy)是免费开源的投屏软件,即可以将手机画面投至电脑,并可直接借助鼠标在投屏窗口中进行交互和录制。
二、软件架构
Scrcpy的架构为C/S架构,其中Client为PC端运行的软件,Server为安卓手机运行的软件。Client和Server之间借助ADB进行通信,通信原理如下图所示:
LocalSocketLocalSocket是基于UNIX-domain Socket的,UNIX-domain Socket是在Socket的基础上衍生出来的一种IPC通信机制,因此LocalSocket解决的是同一台主机上不同进程间互相通信的问题。其相对于网络通信使用的socket不需要经过网络协议栈,不需要打包拆包、计算校验,自然的执行效率也高。与大名鼎鼎的binder机制作用一样,都在Android系统中作为IPC通信手段被广泛使用。
三、架构解析
可能有的观众看到上图的通信方式后会感觉很奇怪,为什么Scrcpy要绕这么一大圈来建立通信,而不是直接让Client通过Socket连接Server呢?其实原因很简单,就是权限的问题,因为普通的APP想要到读取屏幕内容和自动控制必须获取无障碍服务或者Root权限,而我们在使用Scrcpy的时候这两个都没用到,那它是怎么做到的呢?
聪明的读者应该注意到了,ADB就是获取这个权限的关键,读者可以自行去了解ADB的相关知识。简言之,ADB的权限仅次于Root,因此我们需要使用ADB来启动Server端程序,让Server端程序能够不断的获取屏幕内容传给Client,并执行由Client传来的控制指令。
四、ADB forawrd
这里面其实还有一个难点,即Client如何与ADB连接?
adb forward的功能是建立一个转发,例如以下命令的意思是,ADB监听本地tcp的1111端口,并将收到的数据转发给到手机中的ADBD程序,然后ADBD将数据转发至手机tcp的2222端口。
adb forward tcp:1111 tcp:2222
但这样是不能工作的,如上图所述,ADBD和Server之间的通信需要是LocalSocket而不是TCP。当然,万能的ADB也是可以做到的,只需要输入如下命令即可让ADBD以LocalSocket的方式转发数据。
adb forward tcp:1111 localabstract:scrcpy
五、Server端源码分析
Server端是一个Java程序,由dalvik虚拟机执行,主要负责不断获取屏幕内容传输给Client,并执行由Client下发的控制指令,其Main函数位于Server.java中。接下来让我们从Main函数开始,逐步分析Server端的原理。
1、启动参数
进入Main函数后,首先是参数解析,在createOptions函数中,我们可以看到Server程序所有的参数,这些参数的含义我们放到Client节分析。
...
322 Options options = createOptions(args);
...
2、建立LocalSocket,等待连接
从Main函数中走到scrcpy函数,在64行,获取设备的信息,如高度,宽度和设备名称等。
...
final Device device = new Device(options);
...
在73行,建立LocalSocket,并等待连接。
try (DesktopConnection connection = DesktopConnection.open(tunnelForward, control, sendDummyByte)) {
...
}
让我们深入DesktopConnection.open方法,在53行可以看到新建了LocalServerSocket,并在55行和62行等待连接。从变量名称就可以推断出,第一次建立的连接是用于传输屏幕数据的,第二次建立的连接是用于传输控制信息的。(有的读者可能会问,外面不是还包了个if-else吗,为什么不讲else?因为else中是Server主动连接,而不是接受连接,因此这里不进行深入。)
LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
try {
videoSocket = localServerSocket.accept();
if (sendDummyByte) {
// send one byte so the client may read() to detect a connection error
videoSocket.getOutputStream().write(0);
}
if (control) {
try {
controlSocket = localServerSocket.accept();
} catch (IOException | RuntimeException e) {
videoSocket.close();
throw e;
}
}
} finally {
localServerSocket.close();
}
3、向Client发送设备信息
继续回到Server.java的73行,建立完成LocalSocket后,即向client发送设备名称,高度,宽度信息。
if (options.getSendDeviceMeta()) {
Size videoSize = device.getScreenInfo().getVideoSize();
connection.sendDeviceMeta(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
}
深入到sendDeviceMeta方法,这里可以看到Server是以何种格式将数据发往Client的。
public void sendDeviceMeta(String deviceName, int width, int height) throws IOException {
byte[] buffer = new byte[DEVICE_NAME_FIELD_LENGTH + 4];
byte[] deviceNameBytes = deviceName.getBytes(StandardCharsets.UTF_8);
int len = StringUtils.getUtf8TruncationIndex(deviceNameBytes, DEVICE_NAME_FIELD_LENGTH - 1);
System.arraycopy(deviceNameBytes, 0, buffer, 0, len);
// byte[] are always 0-initialized in java, no need to set '\0' explicitly
buffer[DEVICE_NAME_FIELD_LENGTH] = (byte) (width >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 1] = (byte) width;
buffer[DEVICE_NAME_FIELD_LENGTH + 2] = (byte) (height >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 3] = (byte) height;
IO.writeFully(videoFd, buffer, 0, buffer.length);
}
4、启动控制线程
回到Server.java的84行,建立一个控制器对象并启动。
final Controller controller = new Controller(device, connection, options.getClipboardAutosync());
// asynchronous
controllerThread = startController(controller);
deviceMessageSenderThread = startDeviceMessageSender(controller.getSender());
device.setClipboardListener(new Device.ClipboardListener() {
@Override
public void onClipboardTextChanged(String text) {
controller.getSender().pushClipboardText(text);
}
});
深入至startController函数,可以看到里面启动了一个线程,让其执行controller.control()方法,继续深入该方法,里面是一个死循环,执行handleEvent()方法,继续深入,在handleEvent()方法中就是获取控制信息并执行的部分了。命令的执行原理这里不予深究,感兴趣的读者自行研究,也不难。
private void handleEvent() throws IOException {
ControlMessage msg = connection.receiveControlMessage();
switch (msg.getType()) {
case ControlMessage.TYPE_INJECT_KEYCODE:
if (device.supportsInputEvents()) {
injectKeycode(msg.getAction(), msg.getKeycode(), msg.getRepeat(), msg.getMetaState());
}
break;
...
...
default:
// do nothing
}
}
在82行读取控制信息,让我们继续深入该方法。在117行,获取一条控制信息,若为空则表示控制信息全部执行完毕,readFrom开始从socket中读取下一次的控制信息至缓冲区。next为从缓冲区解析出一条控制信息,让我们深入next函数。
public ControlMessage receiveControlMessage() throws IOException {
ControlMessage msg = reader.next();
while (msg == null) {
reader.readFrom(controlInputStream);
msg = reader.next();
}
return msg;
}
在next函数中,从buffer中获取一个字节作为控制类型,每一个case对应一种类型。
public ControlMessage next() {
...
int type = buffer.get();
ControlMessage msg;
switch (type) {
case ControlMessage.TYPE_INJECT_KEYCODE:
msg = parseInjectKeycode();
break;
...
...
default:
Ln.w("Unknown event type: " + type);
msg = null;
break;
}
...
return msg;
}
以第一个TYPE_INJECT_KEYCODE为例,深入parseInjectKeycode()函数。至此,我们就可以推测出其具体的通信格式了。每一个控制类型都不一样,需要读者自行分析,但都大同小异。
privateControlMessage parseInjectKeycode() {
if (buffer.remaining() < INJECT_KEYCODE_PAYLOAD_LENGTH) {
return null;
}
int action = toUnsigned(buffer.get());
int keycode = buffer.getInt();
int repeat = buffer.getInt();
int metaState = buffer.getInt();
return ControlMessage.createInjectKeycode(action, keycode, repeat, metaState);
}
5、发送屏幕数据
回到Server.java的100行,调用 screenEncoder.streamScreen() 函数,主线程开始不断发送屏幕数据至Client。让我们深入该函数,该函数调用了 internalStreamScreen() 方法,继续深入 internalStreamScreen() 方法,至此就是Server端的最后一个死循环了。
99行的encode方法的功能就是将读取屏幕数据并编码然后传输至Client,具体实现与MediaCodec、Surface、Binder等机制有关,这里不展开。
private void internalStreamScreen(Device device, FileDescriptor fd) throws IOException {
...
try {
do {
MediaCodec codec = createCodec(encoderName);
...
codec.start();
try {
alive = encode(codec, fd);
// do not call stop() on exception, it would trigger an IllegalStateException
codec.stop();
} catch (IllegalStateException e) {
...
} finally {
...
}
} while (alive);
} finally {
...
}
}
六、Client端源码分析
1、启动参数
Scrcpy的Client端是一个C程序,使用SDL库构建跨平台图形化界面。和一切的C程序一样,让我们从main.c开始,首先是53行的scrcpy_options_default,这里面存储的是默认选项,其实现位于options.c文件中,读者可以自行查看。
int
main(int argc, char *argv[]) {
...
struct scrcpy_cli_args args = {
.opts = scrcpy_options_default,
.help = false,
.version = false,
};
...
bool ok = scrcpy(&args.opts);
...
return ok ? 0 : 1;
}
2、相关配置
进入scrcpy函数,在334行sc_server_start()函数中连接Server,需要注意一下,327行的sc_server_on_connected()函数为后续连接成功时的回调函数。
bool
scrcpy(struct scrcpy_options *options) {
static struct scrcpy scrcpy;
struct scrcpy *s = &scrcpy;
...
static const struct sc_server_callbacks cbs = {
.on_connection_failed = sc_server_on_connection_failed,
.on_connected = sc_server_on_connected,
.on_disconnected = sc_server_on_disconnected,
};
...
if (!sc_server_start(&s->server)) {
goto end;
}
...
return ret;
}
3、通过ADB发送Server端程序
进入sc_server_start()函数,该函数创建了一下线程执行run_server()函数,深入run_server()函数,722行的push_server()就是将Server端Java程序通过ADB命令传输至Android中,其执行的shell命令如下:
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
4、启动Server端程序
在run_server()函数的734行,execute_server()函数就是启动Server端Java程序,里面涉及很多参数,读者可以参考6.1中的内容。默认情况下,则其执行的shell命令如下(SCRCPY_VERSION 在本文中为1.22):
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server SCRCPY_VERSION log_level=info bit_rate=8000000 tunnel_forward=true
若使用javacv中的FFmpegFrameGrabber,则需要再添加以下参数,否则会传输视频时会出现错误,最好再加上锁定屏幕方向,防止传输的视频宽高突然变化:
lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc
5、连接Servrver端程序
在run_server()函数的752行,sc_server_connect_to()函数就是通过Socket连接Server端程序,if中的是等待Server端连接,这里不予讨论。主要看else中的连接流程,首先通过connect_to_server()函数连接用于传输视频的socket,再连接传输控制信息的socket,其中connect_to_server()函数就是连接后读取一个字节验证是否连接成功,这里和5.2节中讨论的是一致的,就不继续深入了。
static bool
sc_server_connect_to(struct sc_server *server, struct sc_server_info *info) {
...
if (!tunnel->forward) {
...
} else {
...
video_socket = connect_to_server(server, attempts, delay, tunnel_host,
tunnel_port);
...
if (control) {
// we know that the device is listening, we don't need several
// attempts
control_socket = net_socket();
...
bool ok = net_connect_intr(&server->intr, control_socket,
tunnel_host, tunnel_port);
...
}
}
...
}
6、启动控制
连接成功后,在run_server()函数的763行调用连接成功回调函数,即scrcpy.c中250行的sc_server_on_connected()函数,其主要为基于SDL图形库的事件和Server端程序进行交互,这里就不深入了。
七、总结
通过本文的分析,能够对Scrcpy有一个总体的掌握,请读者们自行尝试手动启动Server端Java程序,并使用喜爱的编程语言进行连接,发送和接收数据。
adb forward tcp:5000 localabstract:scrcpy
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server 1.22 log_level=info bit_rate=8000000 tunnel_forward=true lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc