Android P 图形显示系统（一）硬件合成HWC2

最新推荐文章于 2024-05-10 23:02:25 发布

夕月风

最新推荐文章于 2024-05-10 23:02:25 发布

阅读量1.7w

点赞数 20

分类专栏： Display Graphics

本文链接：https://blog.csdn.net/chaojiangluo/article/details/81475607

版权

硬件合成HWC2

Hardware Composer HAL (HWC) 是 SurfaceFlinger 用来将 Surface 合成到屏幕。HWC 可以抽象出叠加层和 2D 位块传送器等，其主要是帮忙GPU完成一些工作。

SurfaceFlinger是一个系统服务，其作用是接受来自多个源的Buffer数据，对它们进行合成，然后发送到显示设备进行显示。在之前的Android版本中，显示基本都是基于硬件的FrameBuffer来实现的，例如/dev/graphics/fb0，但是在后来的版本中，实现可以多样化了，比如高通采用SDM，其他有些平台采用ADF，DRM等。

SurfaceFlinger和HWC的相关配合，实现Android系统的合成与显示～

SurfaceFlinger概述

大多数应用通常在屏幕上有三个层：屏幕顶部的状态栏、底部或侧面的导航栏以及应用的界面。有些应用会拥有更多或更少的层（例如，默认主屏幕应用有一个单独的壁纸层，而全屏游戏可能会隐藏状态栏）。每个层都可以单独更新。状态栏和导航栏由系统进程渲染，而应用层由应用渲染，两者之间不进行协调。

下面我们通过一张图，来进行说明：
Android显示系统

从上图，我们可以看出，在长按Power键，弹出关机对话框时，有4层Layer，可以立即为有4个窗口。4个窗口经过SurfaceFlinger进行合成后，再送到显示器进行显示。

我们来看看SurfaceFlinger的类定义：

class SurfaceFlinger : public BnSurfaceComposer,
                       public PriorityDumper,
                       private IBinder::DeathRecipient,
                       private HWC2::ComposerCallback
{

SurfaceFlinger继承BnSurfaceComposer，实现ISurfaceComposer接口。实现ComposerCallback。PriorityDumper是一个辅助类，主要提供SurfaceFlinger的信息dump，并提供信息的分离和格式设置。

** ISurfaceComposer接口实现**
ISurfaceComposer是提供给上层Client端的接口，ISurfaceComposer接口包括：

* frameworks/native/libs/gui/include/gui/ISurfaceComposer.h

    enum {
        // Note: BOOT_FINISHED must remain this value, it is called from
        // Java by ActivityManagerService.
        BOOT_FINISHED = IBinder::FIRST_CALL_TRANSACTION,
        CREATE_CONNECTION,
        UNUSED, // formerly CREATE_GRAPHIC_BUFFER_ALLOC
        CREATE_DISPLAY_EVENT_CONNECTION,
        CREATE_DISPLAY,
        DESTROY_DISPLAY,
        GET_BUILT_IN_DISPLAY,
        SET_TRANSACTION_STATE,
        AUTHENTICATE_SURFACE,
        GET_SUPPORTED_FRAME_TIMESTAMPS,
        GET_DISPLAY_CONFIGS,
        GET_ACTIVE_CONFIG,
        SET_ACTIVE_CONFIG,
        CONNECT_DISPLAY,
        CAPTURE_SCREEN,
        CAPTURE_LAYERS,
        CLEAR_ANIMATION_FRAME_STATS,
        GET_ANIMATION_FRAME_STATS,
        SET_POWER_MODE,
        GET_DISPLAY_STATS,
        GET_HDR_CAPABILITIES,
        GET_DISPLAY_COLOR_MODES,
        GET_ACTIVE_COLOR_MODE,
        SET_ACTIVE_COLOR_MODE,
        ENABLE_VSYNC_INJECTIONS,
        INJECT_VSYNC,
        GET_LAYER_DEBUG_INFO,
        CREATE_SCOPED_CONNECTION
    };

ISurfaceComposer的接口在SurfaceFlinger中都有对应的方法实现。Client端通过Binder调到SurfaceFlinger中。前面我们已经说过上层怎么获取Display的信息，其实现就是SurfaceFlinger中的getDisplayConfigs函数。其他的类似，根据上面Binder的command去找对应的实现。

ComposerCallback接口实现
ComposerCallback是HWC2的callback接口，包括以下接口：

class ComposerCallback {
 public:
    virtual void onHotplugReceived(int32_t sequenceId, hwc2_display_t display,
                                   Connection connection,
                                   bool primaryDisplay) = 0;
    virtual void onRefreshReceived(int32_t sequenceId,
                                   hwc2_display_t display) = 0;
    virtual void onVsyncReceived(int32_t sequenceId, hwc2_display_t display,
                                 int64_t timestamp) = 0;
    virtual ~ComposerCallback() = default;
};

callback提供了注册接口，registerCallback，在SurfaceFlinger初始化时，注册：

void SurfaceFlinger::init() {
    ... ...

    LOG_ALWAYS_FATAL_IF(mVrFlingerRequestsDisplay,
            "Starting with vr flinger active is not currently supported.");
    getBE().mHwc.reset(new HWComposer(getBE().mHwcServiceName));
    getBE().mHwc->registerCallback(this, getBE().mComposerSequenceId);

registerCallback时的this就是SurfaceFlinger对ComposerCallback接口的实现。

onHotplugReceived
热插拔事件的回调，显示屏幕连接或断开时回调。Surfaceflinger中实现的方法为SurfaceFlinger::onHotplugReceived。这块逻辑，我们稍后介绍。
onRefreshReceived
接收底层HWComposer的刷新请求，实现方法如下：

void SurfaceFlinger::onRefreshReceived(int sequenceId,
                                       hwc2_display_t /*display*/) {
    Mutex::Autolock lock(mStateLock);
    if (sequenceId != getBE().mComposerSequenceId) {
        return;
    }
    repaintEverythingLocked();
}

void SurfaceFlinger::repaintEverythingLocked() {
    android_atomic_or(1, &mRepaintEverything);
    signalTransaction();
}

在repaintEverythingLocked中，注意这里的mRepaintEverything，repaintEverythingLocked的值为1。signalTransaction将触发一次刷新，重新进行合成显示。

重新绘制，说明底层配置，参数等有变动，SurfaceFlinger前面给的数据不能用，得重新根据变动后的配置进行进行合成，给适合当前配置的显示数据。

onVsyncReceived
Vsync事件上报，接收底层硬件上报的垂直同步信号。

需要注意的是，这里收到的热插拔和Vsync回调，又将被封装为事件的形式再通知出去，这是回话，后续介绍。

显示周期Vsync

设备显示会按一定速率刷新，在手机和平板电脑上通常为每秒 60 帧。如果显示内容在刷新期间更新，则会出现撕裂现象；因此，请务必只在周期之间更新内容。在可以安全更新内容时，系统便会收到来自显示设备的信号。由于历史原因，我们将该信号称为 VSYNC 信号。

刷新率可能会随时间而变化，例如，一些移动设备的刷新率范围在 58 fps 到 62 fps 之间，具体要视当前条件而定。对于连接了 HDMI 的电视，刷新率在理论上可以下降到 24 Hz 或 48 Hz，以便与视频相匹配。由于每个刷新周期只能更新屏幕一次，因此以 200 fps 的刷新率为显示设备提交缓冲区只是在做无用功，因为大多数帧永远不会被看到。SurfaceFlinger 不会在应用提交缓冲区时执行操作，而是在显示设备准备好接收新的缓冲区时才会唤醒。

当 VSYNC 信号到达时，SurfaceFlinger 会遍历它的层列表，以寻找新的缓冲区。如果找到新的缓冲区，它会获取该缓冲区；否则，它会继续使用以前获取的缓冲区。SurfaceFlinger 总是需要可显示的内容，因此它会保留一个缓冲区。如果在某个层上没有提交缓冲区，则该层会被忽略。

合成方式

目前SurfaceFlinger中支持两种合成方式，一种是Device合成，一种是Client合成。SurfaceFlinger 在收集可见层的所有缓冲区之后，便会询问 Hardware Composer 应如何进行合成。

Client合成
Client合成方式是相对与硬件合成来说的，其合成方式是，将各个Layer的内容用GPU渲染到暂存缓冲区中，最后将暂存缓冲区传送到显示硬件。这个暂存缓冲区，我们称为FBTarget，每个Display设备有各自的FBTarget。Client合成，之前称为GLES合成，我们也可以称之为GPU合成。Client合成，采用RenderEngine进行合成。
Device合成
就是用专门的硬件合成器进行合成HWComposer，所以硬件合成的能力就取决于硬件的实现。其合成方式是将各个Layer的数据全部传给显示硬件，并告知它从不同的缓冲区读取屏幕不同部分的数据。HWComposer是Devicehec的抽象。

所以，整个显示系统的数据流如下图所示，此图来源于Androd 官网：
Android显示系统数据流图

GPU合成后数据，作为一个特殊的Layer，传给显示硬件。

dump信息
dump信息是很好的一个调试手段，dump命令如下：

adb shell dumpsys SurfaceFlinger

比如，我们通过dump，就可以知道当前有那些Layer，都用什么合成方式

Display 0 HWC layers:
-------------------------------------------------------------------------------
 Layer name
           Z |  Comp Type |   Disp Frame (LTRB) |          Source Crop (LTRB)
-------------------------------------------------------------------------------
 com.android.settings/com.android.settings.Settings#0
       21005 |     Client |    0    0  480  800 |    0.0    0.0  480.0  800.0
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
 StatusBar#0
      181000 |     Client |    0    0  480   36 |    0.0    0.0  480.0   36.0
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

此时，有两个Layer，采用Client合成方式。

后端SurfaceFlingerBE
SurfaceFlingerBE是Android P上新分离出来的，没有太多信息，从目前的定义来看是将SurfaceFlinger分离为前端和后端，这里的SurfaceFlingerBE就是后端，现在的SurfaceFlinger充当前端的角色。后端SurfaceFlingerBE主要就是和底层合成打交道，前端和上层进行交互。在后续的版本中，更多的逻辑会被移到后端中。
消息队列和主线程
和应用进程类似，SurfaceFlinger也有一个主线程，SurfaceFlinger的主线程主要进行显示数据的处理，也就是合成。SurfaceFlinger是一个服务，将会响应上层的很多请求，各个进程的请求都在SurfaceFlinger的各个Binder线程中，如果线程很耗时，那么应用端就会被block，显示也会被block。主线程就是将他们分离开来，各干各的事。

SurfaceFlinger还有很多逻辑，我们先来看看SurfaceFlinger相关的类，接下再来我们一下进行介绍。
SurfaceFlinger相关类图

其他的都好理解，有两个地方需要注意：
1.SurfaceFlinger有两个状态，Layer也有两个状态，一个mCurrentState，一个mDrawingState。注意这里State类定义是不一样的。
2.两个EventThread，一个是给SurfaceFlinger本身用，一个是为了给应用分发事件的。

void SurfaceFlinger::init() {
    ... ...
    sp<VSyncSource> vsyncSrc =
            new DispSyncSource(&mPrimaryDispSync, SurfaceFlinger::vsyncPhaseOffsetNs, true, "app");
    mEventThread = new EventThread(vsyncSrc, *this, false);
    sp<VSyncSource> sfVsyncSrc =
            new DispSyncSource(&mPrimaryDispSync, SurfaceFlinger::sfVsyncPhaseOffsetNs, true, "sf");
    mSFEventThread = new EventThread(sfVsyncSrc, *this, true);
    mEventQueue.setEventThread(mSFEventThread);

VSyncSources 是Vsync的源，并不是每一个Vsync信号都是从底层硬件上报的，平时的Vsync都是VSyncSources分发出来的，VSyncSources定期会和底层的Vsync进行同步，确保和底层屏幕新的步调一致。

HWC2 概述

Android 7.0 包含新版本的 HWC (HWC2)，Android需要自行配置，到Android 8.0，HWC2正式开启，且版本升级为2.1版本。HWC2是 SurfaceFlinger 用来与专门的窗口合成硬件进行通信。SurfaceFlinger 包含使用 3D 图形处理器 (GPU) 执行窗口合成任务的备用路径，但由于以下几个原因，此路径并不理想：

通常，GPU 未针对此用例进行过优化，因此能耗可能要大于执行合成所需的能耗。
每次 SurfaceFlinger 使用 GPU 进行合成时，应用都无法使用处理器进行自我渲染，因此应尽可能使用专门的硬件而不是 GPU 进行合成。

下面是GPU和HWC两种方式的优劣对比：

合成类型	耗电情况	性能情况	Alpha处理	DRM内容处理	其他限制
Device合成（HWC）	耗电低	性能高	很多Vendor的HWC不支持Alpha的处理和合成	基本都能访问DRM内容	能合成的Surface层数有限，对每种Surface类型处理层数有限
Client合成（GPU）	耗电高	性能低	能处理每个像素的Alpha及每个Layear的Alpha	早期版本GPU不能访问DRM的内容	目前的处理层数没有限制

所以，HWC的设计最好遵循一些基本的规则～

HWC 常规准则

由于 Hardware Composer 抽象层后的物理显示设备硬件可因设备而异，因此很难就具体功能提供建议。一般来说，请遵循以下准则：

HWC 应至少支持 4 个叠加层（状态栏、系统栏、应用和壁纸/背景）。
层可以大于屏幕，因此 HWC 应能处理大于显示屏的层（例如壁纸）。
应同时支持预乘每像素 Al

最低0.47元/天解锁文章

夕月风

关注

20
点赞
踩
91

收藏

觉得还不错? 一键收藏
打赏
2
评论
Android P 图形显示系统（一）硬件合成HWC2

Android P 图形显示系统（一）硬件合成HWC2SurfaceFlinger概述HWC2 概述HWC 常规准则HWC2 框架HWC2 数据结构图层Layer类型属性显示屏DisplayHWC设备 composerDevice接口指针句柄HandleHWC合成服务Client和Server的通信IComposerClient.hal 接口ICompo...
复制链接

扫一扫