【淘系技术】超详解析Flutter渲染引擎_业务想创新，不了解底层原理怎么行？(1)

}
}

下图为Vsync触发时的调用栈：

在Android上，Java层收到系统的Vsync的回调后通过JNI发给Flutter engine，之后通过Animator,Engine以及Window等对象路由调回dart层，驱动dart层进行drawFrame的操作。在Dart framework的RenderingBinding::drawFrame函数中会触发对所有dirty节点的layout/paint/compositor相关的操作,之后生成LayerTree，再交由Flutter engine光栅化并合成。

//@rendering/binding.dart
void drawFrame() {
assert(renderView != null);
pipelineOwner.flushLayout();
pipelineOwner.flushCompositingBits();
pipelineOwner.flushPaint();
renderView.compositeFrame(); // this sends the bits to the GPU
pipelineOwner.flushSemantics(); // this also sends the semantics to the OS.
}

图层

在Dart层进行drawFrame对dirty节点进行排版后，就会对需要重新绘制的节点进行绘制操作。而我们知道Flutter中widget是一个UI元素的抽象描述，绘制时，需要先将其inflate成为Element，之后生成对应的RenderObject来负责驱动渲染。通常来讲，一个页面的所有的RenderObject都属于一个图层，Flutter本身没有图层的概念，这里所说的图层可以粗暴理解成一块内存buffer，所有属于图层的RenderObject都应该被绘制在这个图层对应的buffer中去。

如果这个RenderObject的RepaintBoundary属性为true时，就会额外生成一个图层，其所有的子节点都会被绘制在这个新的图层上，最后所有图层有GPU来负责合成并上屏。

Flutter中使用Layer的概念来表示一个层次上的所有RenderObject，Layer和图层存在N：1的对应关系。根节点RenderView会创建root Layer，一般是一个Transform Layer，并包含多个子Layer，每个子Layer又会包含若干RenderObject，每个RenderObject绘制时，会产生相关的绘制指令和绘制参数，并存储在对应的Layer上。

可以参考下面Layer的类图，Layer实际上主要用来组织和存储渲染相关的指令和参数，比如Transform Layer用来保存图层变换的矩阵，ClipRectLayer包含图层的剪切域大小，PlatformViewLayer包含同层渲染组件的纹理id，PictureLayer包含SkPicture(SkPicture记录了SkCanvas绘制的指令，在GPU线程的光栅化过程中会用它来做光栅化)

渲染指令

当渲染第一帧的时候，会从根节点 RenderView 开始，逐个遍历所有的子节点进行绘制操作。

//@rendering/view.dart
//绘制入口，从view根节点开始，逐个绘制所有子节点
@override
void paint(PaintingContext context, Offset offset) {
if (child != null)
context.paintChild(child, offset);
}

我们可以具体看看一个节点如何绘制的：

1. 创建 Canvas。绘制时会通过PaintContex获取的Canvas进行，其内部会去创建一个PictureLayer，并通过ui.PictrureRecorder调用到C++层来创建一个Skia的SkPictureRecorder实例，再通过SkPictureRecorder创建SkCanvas，最后把这个SkCanvas返回给Dart层去使用.

//@rendering/object.dart
@override
Canvas get canvas {
if (_canvas == null)
_startRecording();
return _canvas;
}

void _startRecording() {
assert(!_isRecording);
_currentLayer = PictureLayer(estimatedBounds);
_recorder = ui.PictureRecorder();
_canvas = Canvas(_recorder);
_containerLayer.append(_currentLayer);
}

2. 通 过Canvas 执行具体绘制。Dart 层拿到绑定了底层 SkCanvas 的对象后，用这 Canvas 进行具体的绘制操作，这些绘制命令会被底层的 SkPictureRecorder 记录下来。

3. 结束绘制，准备上屏。绘制完毕时，会调 用Canvas 对象的 stopRecordingIfNeeded 函数，它会最后会去调用 到C++ 的 SkPictureRecorder 的 endRecording 接口来生成一个 Picture 对象，存储在 PictureLayer 中。

//@rendering/object.dart
void stopRecordingIfNeeded() {
if (!_isRecording)
return;
_currentLayer.picture = _recorder.endRecording();
_currentLayer = null;
_recorder = null;
_canvas = null;
}

这 Picture 对象对应 Skia 的 SkPicture 对象，存储这所有的绘制指令。有兴趣可以看一下 SkPicture 的官方说明。

所有的 Layer 绘制完成形成 LayerTree，在 renderView.compositeFrame() 中通过 SceneBuilder 把 Dart Layer 映射为 Flutter engine 中的 flow::Layer ,同时也会生成一颗 C++ 的 flow::LayerTree ，存储在 Scene 对象中，最后通过 Window 的 render 接口提交给 Flutter engine。

//@rendering/view.dart
void compositeFrame() {
…
final ui.SceneBuilder builder = ui.SceneBuilder();
final ui.Scene scene = layer.buildScene(builder);
_window.render(scene);
scene.dispose();
}

在全部绘制操作完成后，在Flutter engine中就形成了一颗flow::LayerTree，应该是像下面的样子:

这颗包含了所有绘制信息以及绘制指令的flow::LayerTree会通过window实例调用到Animator::Render后，最后在Shell::OnAnimatorDraw中提交给GPU线程，并进行光栅化操作,代码可以参考：

@shell/common/animator.cc/Animator::Render

@shell/common/shell.cc/Shell::OnAnimatorDraw

这里提一下flow这个模块，flow是一个基于skia的合成器，它可以基于渲染指令来生成像素数据。Flutter基于flow模块来操作Skia，进行光栅化以及合成。

图片纹理

前面讲线程模型的时候，我们提到过IO线程负责图片加载以及解码并且把解码后的数据上传到GPU生成纹理，这个纹理在后面光栅化过程中会用到，我们来看一下这部分的内容。

UI 线程加载图片的时候，会在 IO 线程调用 InstantiateImageCodec* 函数调用到C++层来初始化图片解码库，通过 skia 的自带的解码库解码生成 bitmap 数据后，调用SkImage::MakeCrossContextFromPixmap来生成可以在多个线程共享的 SkImage，在 IO 线程中用它来生成 GPU 纹理。

//@flutter/lib/ui/painting/codec.cc
sk_sp MultiFrameCodec::GetNextFrameImage(
fml::WeakPtr resourceContext) {
…
// 如果resourceContext不为空，就会去创建一个SkImage，
// 并且这个SkImage是在resouceContext中的，
if (resourceContext) {
SkPixmap pixmap(bitmap.info(), bitmap.pixelRef()->pixels(),
bitmap.pixelRef()->rowBytes());
// This indicates that we do not want a “linear blending” decode.
sk_sp dstColorSpace = nullptr;
return SkImage::MakeCrossContextFromPixmap(resourceContext.get(), pixmap,
false, dstColorSpace.get());
} else {
// Defer decoding until time of draw later on the GPU thread. Can happen
// when GL operations are currently forbidden such as in the background
// on iOS.
return SkImage::MakeFromBitmap(bitmap);
}
}

我们知道，OpenGL的环境是线程不安全的，在一个线程生成的图片纹理，在另外一个线程里面是不能直接使用的。但由于上传纹理操作比较耗时，都放在GPU线程操作，会减低渲染性能。目前OpenGL中可以通过share context来支持这种多线程纹理上传的，所以目前flutter中是由IO线程做纹理上传，GPU线程负责使用纹理。

基本的操作就是在GPU线程创建一个EGLContextA，之后把EGLContextA传给IO线程，IO线程在通过EGLCreateContext在创建EGLContextB的时候，把EGLContextA作为shareContext的参数，这样EGLContextA和EGLContextB就可以共享纹理数据了。

具体相关的代码不一一列举了，可以参考：

@shell/platform/android/platformviewandroid.cc/CreateResourceContext

@shell/platform/android/androidsurfacegl.cc/ResourceContextMakeCurrent

@shell/platform/android/androidsurfacegl.cc/AndroidSurfaceGL

@shell/platform/android/androidsurfacegl.cc/SetNativeWindow

关于图片加载相关流程，可以参考这篇文章：TODO

光栅化与合成

把绘制指令转化为像素数据的过程称为光栅化，把各图层光栅化后的数据进行相关的叠加与特效相关的处理成为合成这是渲染后半段的主要工作。

前面也提到过，生成LayerTree后，会通过Window的Render接口把它提交到GPU线程去执行光栅化操作，大体流程如下：

1-4步，在UI线程执行，主要是通过Animator类把LayerTree提交到Pipeline对象的渲染队列，之后通过Shell把pipeline对象提交给GPU线程进行光栅化，不具体展开，代码在animator.cc&pipeline.h

5-6步，在GPU线程执行具体的光栅化操作。这部分主要分为两大块，一块是Surface的管理。一块是如何把Layer Tree里面的渲染指令绘制到之前创建的Surface中。

可以通过下图了解一下Flutter中的Surface，不同类型的Surface，对应不同的底层渲染API。

我们以GPUSurfaceGL为例，在Flutter中，GPUSurfaceGL是对Skia GrContext的一个管理和封装，而GrContext是Skia用来管理GPU绘制的一个上下文，最终都是借助它来操作OpenGL的API进行相关的上屏操作。在引擎初始化时，当FlutterViewAndroid创建后，就会创建GPUSurfaceGL，在其构造函数中会同步创建Skia的GrContext。

光栅化主要是在函数Rasterizer::DrawToSurface中实现的：

//@shell/rasterizer.cc
RasterStatus Rasterizer::DrawToSurface(flutter::LayerTree& layer_tree) {
FML_DCHECK(surface_);
…
if (compositor_frame) {
//1.执行光栅化
RasterStatus raster_status = compositor_frame->Raster(layer_tree, false);
if (raster_status == RasterStatus::kFailed) {
return raster_status;
}
//2.合成
frame->Submit();
if (external_view_embedder != nullptr) {
external_view_embedder->SubmitFrame(surface_->GetContext());
}
//3.上屏
FireNextFrameCallbackIfPresent();

if (surface_->GetContext()) {
surface_->GetContext()->performDeferredCleanup(kSkiaCleanupExpiration);
}

return raster_status;
}

return RasterStatus::kFailed;
}

光栅化完成后，执行frame->Submit()进行合成。这会调用到下面的PresentSurface，来把offscreensurface中的内容转移到onscreencanvas中，最后通过GLContextPresent()上屏。

//@shell/GPU/gpu_surface_gl.cc
bool GPUSurfaceGL::PresentSurface(SkCanvas* canvas) {
…
if (offscreen_surface_ != nullptr) {
SkPaint paint;
SkCanvas* onscreen_canvas = onscreen_surface_->getCanvas();
onscreen_canvas->clear(SK_ColorTRANSPARENT);
// 1.转移offscreen surface的内容到onscreen canvas中
onscreen_canvas->drawImage(offscreen_surface_->makeImageSnapshot(), 0, 0,
&paint);
}
{
//2. flush 所有绘制命令
onscreen_surface_->getCanvas()->flush();
}
//3 上屏
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

最后

都说三年是程序员的一个坎，能否晋升或者提高自己的核心竞争力，这几年就十分关键。

技术发展的这么快，从哪些方面开始学习，才能达到高级工程师水平，最后进阶到Android架构师/技术专家？我总结了这 5大块；

我搜集整理过这几年阿里，以及腾讯，字节跳动，华为，小米等公司的面试题，把面试的要求和技术点梳理成一份大而全的“ Android架构师”面试 PDF（实际上比预期多花了不少精力），包含知识脉络 + 分支细节。

Java语言与原理；
大厂，小厂。Android面试先看你熟不熟悉Java语言

高级UI与自定义view；
自定义view，Android开发的基本功。

性能调优；
数据结构算法，设计模式。都是这里面的关键基础和重点需要熟练的。

NDK开发；
未来的方向，高薪必会。

前沿技术；
组件化，热升级，热修复，框架设计

网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

我在搭建这些技术框架的时候，还整理了系统的高级进阶教程，会比自己碎片化学习效果强太多

当然，想要深入学习并掌握这些能力，并不简单。关于如何学习，做程序员这一行什么工作强度大家都懂，但是不管工作多忙，每周也要雷打不动的抽出 2 小时用来学习。

不出半年，你就能看出变化！

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

我在搭建这些技术框架的时候，还整理了系统的高级进阶教程，会比自己碎片化学习效果强太多

当然，想要深入学习并掌握这些能力，并不简单。关于如何学习，做程序员这一行什么工作强度大家都懂，但是不管工作多忙，每周也要雷打不动的抽出 2 小时用来学习。

不出半年，你就能看出变化！

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！