openxr runtime Monado 源码解析源码分析：源码编译准备工作说明 hello_xr解读

化凡2012

已于 2022-11-20 20:38:55 修改

阅读量1.7k

点赞数 1

分类专栏： monado VR全景 Android 3D 文章标签： xr monado runtime vr 3d

于 2022-11-20 20:23:18 首次发布

本文链接：https://blog.csdn.net/xuer_07/article/details/127953477

版权

VR全景同时被 3 个专栏收录

7 篇文章 2 订阅

订阅专栏

Android 3D

7 篇文章 0 订阅

订阅专栏

monado

6 篇文章 5 订阅

订阅专栏

monado系列文章索引汇总：
openxr runtime Monado 源码解析源码分析：源码编译准备工作说明 hello_xr解读
openxr runtime Monado 源码解析源码分析：整体介绍模块架构模块作用进程线程模型整体流程
openxr runtime Monado 源码解析源码分析：CreateInstance流程（设备系统和合成器系统）Compositor comp_main client compositor
openxr runtime Monado 源码解析源码分析：Prober设备发现和管理 system device HMD target instance
openxr runtime Monado 源码解析源码分析：InitializeSession client native multi_compositor client_compositor
openxr runtime Monado 源码解析源码分析：CreateSwapchain 画布 HardwareBuffer共享纹理渲染线程 xrEndeFrame comp_renderer

说明

用到的三个源码工程和功能概述

OpenXR-SDK-Source

openxr-android-broker

graphicsplugin_opengles模块

App侧（client侧）渲染结果如何被Runtime合成的

附录

说明

1 本文是系列文章的第一篇

2 源码阅读基于安卓平台

3 以Monado合成器系统（Compositor）为主线的源码分析

4 此篇介绍整个分析过程中用到的开源工程，每个工程的作用

5 重点分析hello_xr源码

用到的三个源码工程和功能概述

OpenXR-SDK-Source

包含hello_xr源码，双目立方体绘制
OpenXR loader, validation layers的实现源码
代码库 https://github.com/KhronosGroup/OpenXR-SDK-Source

openxr-android-broker

安卓版本用于发现和管理多个Runtime
代码库 https://gitlab.freedesktop.org/monado/utilities/openxr-android-broker

monado

标准OpenXR Runtime实现，功能强大的Runtime开发调试集。
代码库 https://gitlab.freedesktop.org/monado/monado

三个代码库间的关系

OpenXR文档给出了Application Loader Runtime三者的关系，如下图：

原图参见：https://registry.khronos.org/OpenXR/specs/1.0/loader.html#Overview

上图是抽象的模块关系表达，对应到三个源码库的关系如下：

源码编译和运行效果

源码编译

每个工程都可以编译成独立的APK

源码编译较简单，不再赘述，如果有疑惑，可以留言，我抽空补上一篇文章。

推荐编译文章（未经作者授权）：https://www.jianshu.com/p/6653507de3c6

运行顺序和效果

依次打开：

（1）Monado XR（in-process下无界面）

（2）OpenXR Runtime Broker，界面如下

（3）Hello XR（OpenGL ES），也可以是Vulkan版本，后续基于GLES分析，效果如下：

hello_xr渲染部分源码分析

本文忽略loader模块，重点讨论渲染方面的内容。Vulkan太啰嗦，为了更容易搞明白怎么在App侧（Client端）渲染，以及与Monado互动过程，本节以OpenGL ES部分为分析对象。分为以下几个部分：hello_xr整体架构；OpenXrProgram模块；GraphicisPlugin_OpenGLES模块。

hello_xr重点：app（client绘制的内容，如何被runtime合成的）

hello_xr整体架构

整体架构如下：

main主进程：安卓NativeActivity主入口，用于加载OpenXR Runtime，创建平台相关对象（platformplugin_android），图形渲染库（graphicsplugin_opengles）。

platformplugin_android：从源码里可以看出，demo支持win32 xlib xcb等平台，本文研究安卓平台，该模块提供几个重要字段：

- XR_KHR_android_create_instance扩展
- FormFactor: 'Hmd'
- ViewConfiguration: 'Stereo'
- EnvironmentBlendMode: 'Opaque'
- AppSpace: 'Local'

graphicsplugin_opengles：根据运行平台不同，Runtime暴露给App侧的渲染模块可以是D3D，Vulkan，OpenGL，OpenGL ES。Vulkan相对繁琐，本文以OpenGL ES作为梳理对象，以此整理App侧（client侧）渲染，渲染结果与Runtime合成关系。

OpenXR Loader：标准加载器实现，将来扩展Runtime功能时可能用到，暂不研究。

OpenXR Runtime：这里特指Monado开源引擎，后续文章会介绍。

graphicsplugin_opengles模块

这个模块主要是完成3D应用场景的绘制，简单一点用API裸写3D渲染，成熟做法是接入主流游戏引擎，如Unity UE Cocos等。熟悉OpenGL ES的同学打开graphicsplugin_opengles.cpp文件，可以清晰地看到几个关键模块：

（1）利用三方库进行渲染环境创建ksGpuWindow_Create()

EGLDisplay display = eglGetDisplay(EGL_DEFAULT_DISPLAY)
eglInitialize(display, major, minor)
EGLConfig eglGetConfigs()
EGLContext eglCreateContext(d, c, NO_CONTEXT)
EGLSurface eglCreatePbufferSurface(d, c)
eglMakeCurrent(display, surface, context)

重点：PBuffer，创建的是离屏渲染，因为合成展示在Runtime里完成。

（2）GLES资源创建InitializeResources()

glGenFramebuffers # 创建FBO
glCreateProgram   # 创建立方体绘制需要的shader
glGenBuffers      # 创建立方体VBO和IBO

（3）3D场景绘制RenderView(layerView, swapchainImage)

glBindFramebuffer()
glViewport()
glFrontFace(GL_CW)
uint32_t colorTexture = reinterpret_cast<const XrSwapchainImageOpenGLESKHR*>(swapchainImage)->image;
glFramebufferTexture2D(colorTexture| DEPTH)
glClearColor()
glClear()
glUseProgram(m_program)
矩阵计算：fov pose(position orientation) scale，来自runtime模块
glBindVertexArray(m_vao)
// Render each cube
glDrawElements()

重点：可以看出App侧的Framebuffer的COLOR_ATTACHMENT0和DEPTH_ATTACHMENT来自Runtime的对象：SwapchainImage，也就是说客户端的画布是runtime创建，并通过纹理共享的，后续文章会详细介绍。