#Scrcpy 源码分析

        写在前面：本文的主旨为分析Scrcpy大致原理，因此对于细节部分就不予深究，本文的Scrcpy版本基于1.22。

一、什么是Scrcpy

        Scrcpy(screen copy)是免费开源的投屏软件，即可以将手机画面投至电脑，并可直接借助鼠标在投屏窗口中进行交互和录制。

---

二、软件架构

Scrcpy的架构为C/S架构，其中Client为PC端运行的软件，Server为安卓手机运行的软件。Client和Server之间借助ADB进行通信，通信原理如下图所示：

        LocalSocketLocalSocket是基于UNIX-domain Socket的，UNIX-domain Socket是在Socket的基础上衍生出来的一种IPC通信机制，因此LocalSocket解决的是同一台主机上不同进程间互相通信的问题。其相对于网络通信使用的socket不需要经过网络协议栈，不需要打包拆包、计算校验，自然的执行效率也高。与大名鼎鼎的binder机制作用一样，都在Android系统中作为IPC通信手段被广泛使用。

---

三、架构解析

        可能有的观众看到上图的通信方式后会感觉很奇怪，为什么Scrcpy要绕这么一大圈来建立通信，而不是直接让Client通过Socket连接Server呢？其实原因很简单，就是权限的问题，因为普通的APP想要到读取屏幕内容和自动控制必须获取无障碍服务或者Root权限，而我们在使用Scrcpy的时候这两个都没用到，那它是怎么做到的呢？
        聪明的读者应该注意到了，ADB就是获取这个权限的关键，读者可以自行去了解ADB的相关知识。简言之，ADB的权限仅次于Root，因此我们需要使用ADB来启动Server端程序，让Server端程序能够不断的获取屏幕内容传给Client，并执行由Client传来的控制指令。

---

四、ADB forawrd

        这里面其实还有一个难点，即Client如何与ADB连接？
        adb forward的功能是建立一个转发，例如以下命令的意思是，ADB监听本地tcp的1111端口，并将收到的数据转发给到手机中的ADBD程序，然后ADBD将数据转发至手机tcp的2222端口。

adb forward tcp:1111 tcp:2222

        但这样是不能工作的，如上图所述，ADBD和Server之间的通信需要是LocalSocket而不是TCP。当然，万能的ADB也是可以做到的，只需要输入如下命令即可让ADBD以LocalSocket的方式转发数据。

adb forward tcp:1111 localabstract:scrcpy

---

五、Server端源码分析

        Server端是一个Java程序，由dalvik虚拟机执行，主要负责不断获取屏幕内容传输给Client，并执行由Client下发的控制指令，其Main函数位于Server.java中。接下来让我们从Main函数开始，逐步分析Server端的原理。

1、启动参数

        进入Main函数后，首先是参数解析，在createOptions函数中，我们可以看到Server程序所有的参数，这些参数的含义我们放到Client节分析。

...
322  Options options = createOptions(args);
...

2、建立LocalSocket，等待连接

        从Main函数中走到scrcpy函数，在64行，获取设备的信息，如高度，宽度和设备名称等。

...
final Device device = new Device(options);
...

        在73行，建立LocalSocket，并等待连接。

try (DesktopConnection connection = DesktopConnection.open(tunnelForward, control, sendDummyByte)) {
	...
}

        让我们深入DesktopConnection.open方法，在53行可以看到新建了LocalServerSocket，并在55行和62行等待连接。从变量名称就可以推断出，第一次建立的连接是用于传输屏幕数据的，第二次建立的连接是用于传输控制信息的。(有的读者可能会问，外面不是还包了个if-else吗，为什么不讲else？因为else中是Server主动连接，而不是接受连接，因此这里不进行深入。)

LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
try {
    videoSocket = localServerSocket.accept();
    if (sendDummyByte) {
        // send one byte so the client may read() to detect a connection error
        videoSocket.getOutputStream().write(0);
    }
    if (control) {
        try {
            controlSocket = localServerSocket.accept();
        } catch (IOException | RuntimeException e) {
            videoSocket.close();
            throw e;
        }
    }
} finally {
    localServerSocket.close();
}

3、向Client发送设备信息

        继续回到Server.java的73行，建立完成LocalSocket后，即向client发送设备名称，高度，宽度信息。

if (options.getSendDeviceMeta()) {
    Size videoSize = device.getScreenInfo().getVideoSize();
    connection.sendDeviceMeta(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
}

        深入到sendDeviceMeta方法，这里可以看到Server是以何种格式将数据发往Client的。

public void sendDeviceMeta(String deviceName, int width, int height) throws IOException {
    byte[] buffer = new byte[DEVICE_NAME_FIELD_LENGTH + 4];

    byte[] deviceNameBytes = deviceName.getBytes(StandardCharsets.UTF_8);
    int len = StringUtils.getUtf8TruncationIndex(deviceNameBytes, DEVICE_NAME_FIELD_LENGTH - 1);
    System.arraycopy(deviceNameBytes, 0, buffer, 0, len);
    // byte[] are always 0-initialized in java, no need to set '\0' explicitly

    buffer[DEVICE_NAME_FIELD_LENGTH] = (byte) (width >> 8);
    buffer[DEVICE_NAME_FIELD_LENGTH + 1] = (byte) width;
    buffer[DEVICE_NAME_FIELD_LENGTH + 2] = (byte) (height >> 8);
    buffer[DEVICE_NAME_FIELD_LENGTH + 3] = (byte) height;
    IO.writeFully(videoFd, buffer, 0, buffer.length);
}

4、启动控制线程

        回到Server.java的84行，建立一个控制器对象并启动。

final Controller controller = new Controller(device, connection, options.getClipboardAutosync());

// asynchronous
controllerThread = startController(controller);
deviceMessageSenderThread = startDeviceMessageSender(controller.getSender());

device.setClipboardListener(new Device.ClipboardListener() {
    @Override
    public void onClipboardTextChanged(String text) {
        controller.getSender().pushClipboardText(text);
    }
});

        深入至startController函数，可以看到里面启动了一个线程，让其执行controller.control()方法，继续深入该方法，里面是一个死循环，执行handleEvent()方法，继续深入，在handleEvent()方法中就是获取控制信息并执行的部分了。命令的执行原理这里不予深究，感兴趣的读者自行研究，也不难。

private void handleEvent() throws IOException {
    ControlMessage msg = connection.receiveControlMessage();
    switch (msg.getType()) {
        case ControlMessage.TYPE_INJECT_KEYCODE:
            if (device.supportsInputEvents()) {
                injectKeycode(msg.getAction(), msg.getKeycode(), msg.getRepeat(), msg.getMetaState());
            }
            break;
        ...
        ...
        default:
            // do nothing
    }
}

        在82行读取控制信息，让我们继续深入该方法。在117行，获取一条控制信息，若为空则表示控制信息全部执行完毕，readFrom开始从socket中读取下一次的控制信息至缓冲区。next为从缓冲区解析出一条控制信息，让我们深入next函数。

public ControlMessage  receiveControlMessage() throws IOException {
    ControlMessage msg = reader.next();
    while (msg == null) {
        reader.readFrom(controlInputStream);
        msg = reader.next();
    }
    return msg;
}

        在next函数中，从buffer中获取一个字节作为控制类型，每一个case对应一种类型。

public ControlMessage next() {
	...
    int type = buffer.get();
    ControlMessage msg;
    switch (type) {
        case ControlMessage.TYPE_INJECT_KEYCODE:
            msg = parseInjectKeycode();
            break;
         ...
         ...
        default:
            Ln.w("Unknown event type: " + type);
            msg = null;
            break;
    }
	...
    return msg;
}

        以第一个TYPE_INJECT_KEYCODE为例，深入parseInjectKeycode()函数。至此，我们就可以推测出其具体的通信格式了。每一个控制类型都不一样，需要读者自行分析，但都大同小异。

privateControlMessage parseInjectKeycode() {
    if (buffer.remaining() < INJECT_KEYCODE_PAYLOAD_LENGTH) {
        return null;
    }
    int action = toUnsigned(buffer.get());
    int keycode = buffer.getInt();
    int repeat = buffer.getInt();
    int metaState = buffer.getInt();
    return ControlMessage.createInjectKeycode(action, keycode, repeat, metaState);
}

5、发送屏幕数据

        回到Server.java的100行，调用 screenEncoder.streamScreen() 函数，主线程开始不断发送屏幕数据至Client。让我们深入该函数，该函数调用了 internalStreamScreen() 方法，继续深入 internalStreamScreen() 方法，至此就是Server端的最后一个死循环了。
        99行的encode方法的功能就是将读取屏幕数据并编码然后传输至Client，具体实现与MediaCodec、Surface、Binder等机制有关，这里不展开。

private void internalStreamScreen(Device device, FileDescriptor fd) throws IOException {
	...
    try {
        do {
            MediaCodec codec = createCodec(encoderName);
        	...
            codec.start();
            try {
                alive = encode(codec, fd);
                // do not call stop() on exception, it would trigger an IllegalStateException
                codec.stop();
            } catch (IllegalStateException e) {
            	...
            } finally {
            	...
            }
        } while (alive);
    } finally {
    	...
    }
}

---

六、Client端源码分析

1、启动参数

        Scrcpy的Client端是一个C程序，使用SDL库构建跨平台图形化界面。和一切的C程序一样，让我们从main.c开始，首先是53行的scrcpy_options_default，这里面存储的是默认选项，其实现位于options.c文件中，读者可以自行查看。

int
main(int argc, char *argv[]) {
	...
    struct scrcpy_cli_args args = {
        .opts = scrcpy_options_default,
        .help = false,
        .version = false,
    };
	...
    bool ok = scrcpy(&args.opts);
	...
    return ok ? 0 : 1;
}

2、相关配置

        进入scrcpy函数，在334行sc_server_start()函数中连接Server，需要注意一下，327行的sc_server_on_connected()函数为后续连接成功时的回调函数。

bool
scrcpy(struct scrcpy_options *options) {
    static struct scrcpy scrcpy;
    struct scrcpy *s = &scrcpy;
	...
    static const struct sc_server_callbacks cbs = {
        .on_connection_failed = sc_server_on_connection_failed,
        .on_connected = sc_server_on_connected,
        .on_disconnected = sc_server_on_disconnected,
    };
    ...
    if (!sc_server_start(&s->server)) {
        goto end;
    }
	...
    return ret;
}

3、通过ADB发送Server端程序

        进入sc_server_start()函数，该函数创建了一下线程执行run_server()函数，深入run_server()函数，722行的push_server()就是将Server端Java程序通过ADB命令传输至Android中，其执行的shell命令如下：

adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar

4、启动Server端程序

        在run_server()函数的734行，execute_server()函数就是启动Server端Java程序，里面涉及很多参数，读者可以参考6.1中的内容。默认情况下，则其执行的shell命令如下(SCRCPY_VERSION 在本文中为1.22)：

adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server SCRCPY_VERSION log_level=info bit_rate=8000000 tunnel_forward=true

        若使用javacv中的FFmpegFrameGrabber，则需要再添加以下参数，否则会传输视频时会出现错误，最好再加上锁定屏幕方向，防止传输的视频宽高突然变化：

lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc

5、连接Servrver端程序

        在run_server()函数的752行，sc_server_connect_to()函数就是通过Socket连接Server端程序，if中的是等待Server端连接，这里不予讨论。主要看else中的连接流程，首先通过connect_to_server()函数连接用于传输视频的socket，再连接传输控制信息的socket，其中connect_to_server()函数就是连接后读取一个字节验证是否连接成功，这里和5.2节中讨论的是一致的，就不继续深入了。

static bool
sc_server_connect_to(struct sc_server *server, struct sc_server_info *info) {
	...
    if (!tunnel->forward) {
    	...
    } else {
    	...
        video_socket = connect_to_server(server, attempts, delay, tunnel_host,
                                         tunnel_port);
  		...
        if (control) {
            // we know that the device is listening, we don't need several
            // attempts
            control_socket = net_socket();
            ...
            bool ok = net_connect_intr(&server->intr, control_socket,
                                       tunnel_host, tunnel_port);
			...
        }
    }
	...
}

6、启动控制

        连接成功后，在run_server()函数的763行调用连接成功回调函数，即scrcpy.c中250行的sc_server_on_connected()函数，其主要为基于SDL图形库的事件和Server端程序进行交互，这里就不深入了。

七、总结

        通过本文的分析，能够对Scrcpy有一个总体的掌握，请读者们自行尝试手动启动Server端Java程序，并使用喜爱的编程语言进行连接，发送和接收数据。

adb forward tcp:5000 localabstract:scrcpy

adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar

adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server 1.22 log_level=info bit_rate=8000000 tunnel_forward=true lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc