【Part 2安卓原生360°VR播放器开发实战】第二节｜基于等距圆柱投影方式实现全景视频渲染

《VR 360°全景视频开发》专栏

将带你深入探索从全景视频制作到Unity眼镜端应用开发的全流程技术。专栏内容涵盖安卓原生VR播放器开发、Unity VR视频渲染与手势交互、360°全景视频制作与优化，以及高分辨率视频性能优化等实战技巧。

---

📝 希望通过这个专栏，帮助更多朋友进入VR 360°全景视频的世界！

---

Part 2｜安卓原生360°VR播放器开发实战

在安卓平台上开发一个高性能的360°VR视频播放器，是提升VR体验的关键。本部分内容将详细介绍如何利用安卓原生技术（如 MediaCodec、OpenGL ES）实现视频解码和渲染，如何优化播放器性能，并介绍如何进行不同 VR 设备的适配，确保你能够为不同的用户提供流畅的播放体验。

第一节｜通过传感器实现VR的3DOF效果

地址：【Part 2安卓原生360°VR播放器开发实战】第一节｜通过传感器实现VR的3DOF效果

第二节｜基于等距圆柱投影方式实现全景视频渲染

在360°VR视频的渲染中，最常见的视频格式是等距圆柱投影（Equirectangular Projection）。

这类全景视频通常以 2:1 的比例呈现，把球面坐标映射到一个矩形平面上，
在VR播放时，需要将视频正确投射到一个内表面的球体上，形成沉浸式体验。

这一节，我们将使用ExternalTexture结合MediaPlayer播放360°全景视频。

1. 外部纹理ExternalTexture

在Sceneform-EQR(基于Filament)中，ExternalTexture 是一个允许与外部纹理进行交互的对象，它使得开发者能够将外部资源（如外部图像、视频帧等）直接加载到渲染引擎中并作为纹理使用。

ExternalTexture 在涉及视频渲染或动态纹理时非常有用。例如，开发者可以通过此机制将视频帧直接作为纹理绑定到3D模型上。也可以用于实现与其他图形引擎或硬件交互时，将其纹理无缝导入。

---

2. MediaPlayer的绑定流程

基本思路是：

1. 创建一个ExternalTexture对象，用来承载视频流。
2. 使用MediaPlayer播放本地视频，并把输出Surface设置为ExternalTexture的Surface。
3. 当视频尺寸变化时，动态调整SurfaceTexture的默认缓冲区大小。
4. 通过加载自定义材质，将ExternalTexture绑定到球体Renderable模型。
5. 监听首帧回调，等视频第一帧渲染完成后，把模型挂载到场景中。

---

3. 全景视频播放流程简易时序

[创建 ExternalTexture] 
        ↓
[Handler线程执行]
        ↓
[初始化 MediaPlayer]
        ↓
[设置Surface为ExternalTexture.getSurface()]
        ↓
[MediaPlayer onPrepared -> start播放]
        ↓
[MediaPlayer onVideoSizeChanged -> 设置SurfaceTexture缓冲大小]
        ↓
[加载材质 external_chroma_key_video_material]
        ↓
[绑定 ExternalTexture 到材质 videoTexture 参数]
        ↓
[构建内包裹球体 GeometryUtils.makeInnerSphere]
        ↓
[监听SurfaceTexture首帧回调 -> 设置Node渲染Renderable]

---

4. 核心代码解析

项目已开源，源码地址：VRScene360Activity.java

4.1 外部纹理与MediaPlayer的初始化

在 MediaPlayer 播放过程中，视频每一帧会通过 ExternalTexture 自动同步到后续的材质上。

texture = new ExternalTexture();
EngineInstance.getHandler().post(() -> {
    mediaPlayer = MediaPlayer.create(context, R.raw.vr_video4);
    mediaPlayer.setOnPreparedListener(mp -> {
        mp.setSurface(texture.getSurface());
        mp.setLooping(true);
        mp.start(); // 自动播放
    });
    mediaPlayer.setOnVideoSizeChangedListener((mp, width, height) -> {
        if (texture != null) {
            texture.getSurfaceTexture().setDefaultBufferSize(width, height);
        }
    });
});

注意：

• 将MediaPlayer初始化放到Handler线程，避免主线程卡顿。
• 在onPrepared回调中才设置Surface，保证MediaPlayer已经准备好。
• 在onVideoSizeChanged时同步更新SurfaceTexture的尺寸，以避免画面拉伸。

4.2 绑定材质与构建渲染球体

这里使用了一个自定义材质external_chroma_key_video_material，支持绑定外部视频纹理。球体采用了内包裹式球体（摄像机置于球体内部观察外壳纹理），从而实现真正沉浸式的360°体验。

Material.builder()
    .setSource(context, R.raw.external_chroma_key_video_material)
    .build()
    .thenAccept(material -> {
        material.setFloat4("keyColor", new Color(0,0,0,1)); // 设定色键（黑色）
        modelRenderable = GeometryUtils.makeInnerSphere(30, Vector3.zero(), material);
        modelRenderable.getMaterial().setExternalTexture("videoTexture", texture);
        
        modelRenderable.setShadowCaster(false);
        modelRenderable.setShadowReceiver(false);

        texture.getSurfaceTexture().setOnFrameAvailableListener(surfaceTexture -> {
            tempNode.setRenderable(modelRenderable);
            texture.getSurfaceTexture().setOnFrameAvailableListener(null);
        });
    })
    .exceptionally(throwable -> {
        Log.e("SimulatedVideoSkybox", "Material加载失败", throwable);
        return null;
    });

注意：

• 使用 makeInnerSphere() 方法生成球体，确保法线朝内。
• 将 ExternalTexture 设置为材质的 videoTexture。
• 监听 OnFrameAvailableListener，在第一帧准备好时，才设置球体到场景中，防止黑屏。

4.3 资源释放与生命周期管理

为了避免内存泄漏，播放完成或退出场景时，必须及时释放 MediaPlayer、ExternalTexture 和 ModelRenderable 资源。

if (mediaPlayer != null) {
    mediaPlayer.release();
    mediaPlayer = null;
}

if (modelRenderable != null) {
    modelRenderable.tryDestroyData();
    modelRenderable = null;
}

---

5. 运行程序

5.1 项目打包

基于Sceneform-EQR，使用AndroidStudio编译运行

• Sceneform-EQR源码地址： https://github.com/eqgis/Sceneform-EQR

5.2 程序运行

• 编译项目，启动APP
  
• 点击按钮运行示例

示例中所用的全景视频素材来源于AFrame社区，视频、图片均经过压缩。

---

结语

本节实现了通过等距圆柱投影视频纹理，映射到内表面球体模型，结合 ExternalTexture + MediaPlayer 技术方案，
从而在安卓原生环境下构建了一个完整的360°VR全景视频播放能力。

---

本专栏旨在系统地分享VR 360°全景视频的开发全流程。包括但不限于全景视频的拍摄与制作、安卓原生VR播放器的开发、以及如何在VR眼镜上实现全景视频播放器。
✅ 如果你对VR开发感兴趣，欢迎关注本专栏！地址：《VR 360°全景视频开发》
💬 有任何问题或想了解的内容，欢迎留言讨论，一起探索XR技术的更多可能！

---

👉 更新详情

• 【专栏预告】《VR 360°全景视频开发：从GoPro到Unity VR眼镜应用实战》

【Part 1全景视频拍摄与制作基础】

• 第一节｜全景视频概述与应用场景（2025年3月23日12:00更新）
• 第二节｜全景视频拍摄设备选型与使用技巧（2025年3月30日12:00更新）
• 第三节｜全景视频后期拼接与处理流程（2025年4月6日12:00更新）
• 第四节｜基于UE/Unity的全景视频渲染与导出（2025年4月13日12:00更新）

【Part 2安卓原生360°VR播放器开发实战】

• 第一节｜通过传感器实现VR的3DOF效果（2025年4月20日12:00更新）
• 第二节｜基于等距圆柱投影方式实现全景视频渲染（2025年4月27日12:00更新）

---