Flutter 音视频开发新思路

引言

音视频功能因为需要依赖于 GPU 或其他系统底层软硬件，来计算处理和展现结果，所以相关技术总是相对偏向于底层，包括音视频的基础框架，乃至代码功能逻辑也一般都沉淀在底层。我们可以在各个系统平台构建我们的音视频功能和应用界面，但是 Flutter 是系统平台之上的跨平台框架，似乎天然与偏底层的音视频有着一定的隔阂，所以在 Flutter 上开发音视频，似乎会陷入到了仅能开发音视频界面，而无法更深入一步的困境。

Flutter 音视频开发的困境

我们希望通过 Flutter 统一各端的界面 UI 和功能逻辑，Flutter 不仅仅能够用来构建界面，也能够用于中间层功能逻辑的跨端，这样做的好处不言而喻，不仅 UI 界面在多端是统一的，功能逻辑在多端也是统一的，这样能有更好的功能一致性和可维护性。闲鱼在这方面也做了很多实践和努力，比如对消息业务的架构升级，抹平了 IM 场景双端逻辑的差异，提升了整体稳定性和研发效率，具体可见《Flutter IM 跨端架构设计和实现》。

图示为 Flutter 音视频的分层结构图

在音视频方面，我们也希望音视频的相关功能逻辑能上移到 Flutter 进行统一开发，但是由于音视频的底层依赖，目前大量的音视频功能逻辑都还是实现在 Native 或者更底层，仅通过 Plugin 传输指令和数据，通过 External Texture 将纹理外接到 Flutter 展示，Flutter 仅仅用于构建界面。所以我们不得不面临一个尴尬的现状：虽然通过 Flutter 技术，我们能够做到音视频模块界面的统一，但功能逻辑依然分散在各端底层，需要分别开发维护，不仅研发效率不高，各端功能表现也容易不一致。

为了解决这个问题，将更多的功能逻辑上移到 Flutter，让 Flutter 音视频的也能做到逻辑跨端，我们需要一种新的思路。

新思路

任何一个功能模块，都是由更细粒度的子模块构建出来的。例如一个拍摄功能，我们可以拆分出相机、麦克风、帧处理、音频处理、预览、拍照、视频录制等子功能模块，每个子模块都承担一定的职责，对外透出属性和操作接口，和其他模块配合处理数据和逻辑，最终构建出完整的功能。如果要在 Flutter 中实现这个拍摄功能，一般是在底层串联实现这些功能，将视频帧作为纹理外接到 Flutter 侧展示，Flutter 侧构建界面，并通过 MethodChannel 下发指令进行拍照、视频录制等操作控制。

这时候我们想到，如果子模块能够被 Flutter 侧操作控制，是否能够直接在 Flutter 侧完整构建出整个功能呢？

为了方便地控制底层音视频子模块&