UE4移动端的Checkerboard Rendering https://zhuanlan.zhihu.com/p/124898057

最新推荐文章于 2023-02-27 10:11:09 发布
最新推荐文章于 2023-02-27 10:11:09 发布
阅读量588 收藏 3
点赞数 1
分类专栏： UE4
原文链接：https://zhuanlan.zhihu.com/p/124898057
版权

UE4移动端的Checkerboard Rendering
https://zhuanlan.zhihu.com/p/124898057

前言

棋盘渲染(Checkerboard Rendering，后续简称CBR)是一种降低着色消耗还原全分辨率的一种技术。本文主要介绍在UE的Mobile管线中的各个Graph API实现，参考大多来源于Intel的paper[1].

技术简介

在介绍详细的实现细节前，我们先看看相关的原理。设原分辨率为 [公式] ，对于四分之一分辨率（长宽均为原来的一半）开启2x的MSAA[2]后采样点分布如下：

我们保存这张TextureMS的RT，接着在奇数帧抖动原始分辨率一个像素：

继续保存这张TextureMS到另一个buffer中，接着在CS中采样两张多重采样贴图的子采样点还原：

注意最左边的像素因为抖动而永远丢失了，而在实现的时候也可以让整个相机向左抖动，这样丢失的像素信息就会变成最右边的一列。

但实际上，MSAA采样点的位置不会总是在原分辨率的中心，分布点也可能并不均匀

Qualcomm Adreno

4x位置

所以当DownSample渲染的结果如果处于几何的边缘上，可能结果差别会比较大。

另外场景不是一成不变的，所以还需要记录Motion vector来还原因为相机移动和物体移动造成的pixel变化。而这种处理因游戏而异，一种通用的处理是对于相机使用深度来计算motion vector，对于动态物体单体写入velocity buffer然后在重建的CS中匹配对应的ID时采样velocity buffer。

管线改造

UE的MobileRenderer还是使用的Forward模式，所以修改起来相对容易。大体流程如下：

算法流程如下：

  • 创建两个color和Depth buffer（第N-1帧和第N帧），大小均为四分之一分辨率
  • 不带jittere渲染偶数帧（起始帧为第0帧）
  • 修改Projection Matrix带上jittere渲染奇数帧
  • 运行CS重建整个分辨率

FMobileSceneRenderer的Render流程十分简单，将BassPass和TranslucencyPass的RenderPassInfo的RT修改为自己创建的RT即可，然后在Post前执行自己的CS。

这里提一些重要的注意点：

  • Pipline MSAA的shading方式要使用sample shading，而不是fragment shading
  • 使用四分之一分辨率渲染到RT上时，mipmap的level要减去0.5来使得与原分辨率使用的texture level相同.（可以直接修改GlobalMipmapLODBias，而且引擎自身带有对其值的callback，当改变时自动更新所有的Material的SamplerState）
  • 由于UE代码中到处都是直接引用SceneColor和SceneDepthZ的代码，所以最好的方式不是修改BassPass的RT，而是将SceneColor替换为自定义的RT，这样不用手动控制中间Pass对于原始SceneColor或Depth的访问（比如RenderOcclusion），在BassPass执行完Opque和Translucency时设置会原始的SceneColor和Depth.

Vulkan：

Vulkan的修改十分简单，可以对每一个具体的PiplineInfo来设置，在VkPipelineMultisampleStateCreateInfo中开启sampleShadingEnable并且设置minSampleShading为1.f：

OpenGL ES：

OpenGL的修改相对就复杂了很多，首先确保你的手机支持GL_OES_sample_shading拓展，然后手动开启GL_SAMPLE_SHADING_OES并设置minSampleShading，详细可以参考OpenGL ES3.2文档[3]。

另外UE原生并不支持在使用OpenGL ES的情况下输出MultisampleTexture，所以我们需要在OpenGLTexture下手动创建MultisampleTexture，并且在OpenGLRenderTarget中绑定到Framebuffer上。

性能结果：

以下为官方demo太阳神庙在Snapdragon 660上CBR表现（720p）：

1.开启CBR

Vulkan开启CBR

2.关闭CBR

 

总结

这套方案对于几何边缘处理上无法做到完美还原，但在手机上分辨率较高屏幕较小效果比较可观。而且对于那些性能瓶颈在BassPass的情况能有较大的性能提升，反之如果材质不那么复杂即PS消耗不大，耗费在CS上的性能可能超过节省出的着色性能而出现负优化。所以开发人员需要针对不同情况自行斟酌。另外当前实现是没有对PostProcess进行处理的，对于某些后效也可以用一半着色的RT降低消耗。

参考

  1. ^Intel CBR https://software.intel.com/en-us/articles/checkerboard-rendering-for-real-time-upscaling-on-intel-integrated-graphics
  2. ^MSAA https://zhuanlan.zhihu.com/p/32823370
  3. ^GLES 3.2 https://www.khronos.org/registry/OpenGL/specs/es/3.2/es_spec_3.2.pdf

编辑于 04-04

虚幻 4（游戏引擎）

3D 渲染

计算机图形学

文章被以下专栏收录

渲染学习笔记

 

渲染学习笔记

进入专栏

推荐阅读

UE4 Separate translucency 在IOS上的一些坑

UE4 Separate translucency 在IOS上的一些坑

YiQiu发表于UE4 特...

【UE4】实时渲染（RTR——Real Time Rendering）基础入门 笔记

【UE4】实时渲染（RTR——Real Time Rendering）基础入门 笔记

X Tes...发表于UE4有意...

虚幻4渲染编程(Shader篇)【第二十二卷：Translucency With Depth】

虚幻4渲染编程(Shader篇)【第二十二卷：Translucency With Depth】

Yivan...发表于虚幻4渲染...

UE4 Hair Strands浅析

UE4 Hair Strands浅析

凯奥斯发表于凯奥斯的注...

8 条评论

写下你的评论...

 

  • xsky

    xsky04-13

    吃瓜学习了

  • 天麒

    天麒05-29

    请问一下“Pipline MSAA的shading方式要使用sample shading，而不是fragment shading”MSAA默认是fragment shading，怎么开启sample shading？

leesanghoy

leesanghoy (作者) 回复天麒05-29

我文章后面有说，不同api的方式

  • 蘑菇头队长

    蘑菇头队长06-21

    请问ios（metal）有对应的sample shading的api么？就是逐采样点渲染

leesanghoy

leesanghoy (作者) 回复蘑菇头队长06-21

与DX类似，使用Sampling and Interpolation Attributes。在文档5.4章节，https://developer.apple.com/metal/Metal-Shading-Language-Specification.pdf

  • profhua

    profhua09-02

    采样的操作似乎在PS中也能实现啊，用cs是有什么优化嘛

leesanghoy

leesanghoy (作者) 回复profhua09-03

可以的，用cs是为了方便。。

 

 

 

 

 

 

kuangben2000
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
checkerboard_7x6_50x50cm.yaml
02-24
checkerboard_7x6_50x50cm.yaml
Checkerboard-A4-25mm-10x7.svg
04-03
Checkerboard-A4-25mm-10x7.svg
棋盘格渲染
weixin_30621711的博客
08-04 769
https://software.intel.com/zh-cn/articles/checkerboard-rendering-for-real-time-upscaling-on-intel-integrated-graphics 关于棋盘格渲染，以上这篇英特尔文章讲的挺清楚的，我这里只是简单capture一些重点。 下图为普通的全分辨率渲染，可以看到，第一张图为需要光栅...
Unity Shader - CheckerBoard(棋盘格) 等 Pattern 的测试
Jave.Lin 的学习笔记
12-24 3185
文章目录什么是 CheckerBoard来个最简单的 CheckerBoard显示全屏UV显示棋盘格水平分段一下(但是黑色分割先只有1个像素)填充分阶的内容为 0~1 的渐变值将0\~1 渐变值一分为二最终棋盘格：输出纵横向的相异为真的像素值其他 CheckerBoard 的样式同样的，使用 sin 都所有色阶抖动的函数（但是 0 ~ 1 色阶过度太平滑）和之前一样，可以 round 一下二值化来分色阶同样的相异为真输出 checkerboard其他花样T1T2T3T4etc. 什么是 CheckerBo
真4K还是假4K游戏 解构PS4pro棋盘渲染技术
wangchewen的博客
09-23 4893
PS4 Pro虽然能够支持以原生4K分辨率来渲染游戏，但仅有少数几个能够提供支持。但同时，索尼方面不觉得将新主机称为支持4K的主机是一种误导。虽然有些游戏将能够原生支持4K分辨率来呈现重制，多数游戏将采用所谓的“棋盘渲染”像素提升技术来实现“4K分辨率画质”。那么PS4pro所谓棋盘渲染到底是什么？PS4pro和真4K区别在哪里呢？首先要明确一个观点：PS4 Pro目前有不少游戏都是“假4K”。这个所谓的“假”，指的是说游戏里显卡直出的图像，和最终显示在电视上的图像，是不一样大的。那么，之所以最终还是4K输
UE4 VR中一种比较清晰的UI制作方式
bangchangyi9724的博客
05-09 1349
　　在进行UE4VR制作工程中，因为有很多UI元素要呈现，例如字幕、暂停界面等等，但使用3DWidget总是各种不如意，尤其在呈现文字的时候，文字很很虚并且在人物高速运动时，3DUI元素会剧烈抖动，最后不得已另寻出路。 最后终于发现一个component可以完美实现以上效果并且效果相当好，文字、UI的分辨率在VR里基本和PC中的效果差不多，这个组件就是Stere...
Unreal Engine10：Character的实现
weixin_43992162的博客
02-27 690
这里主要是介绍一下Character的实现，顺带也介绍一下UE4资源的获取；
matlab函数、命令最全的自己总结 (2).pdf
11-05
- `checkerboard`：生成棋盘格图像，用于几何变换的测试。 - `findbounds`：确定几何变换的输出范围。 - `fliptform`，`imcrop`，`imresize`，`imrotate`，`imtransform`：这些函数用于对图像进行翻转、裁剪、...
Matlab常见函数汇总 (3).docx
03-01
- `checkerboard`: 创建棋盘格图像，用于测试几何变换。 - `findbounds`: 求解几何变换的输出范围。 - `fliptform`: 颠倒几何变换的输入/输出。 - `imcrop`: 修剪图像，提取感兴趣区域。 - `imresize`: 调整...
Matlab常见函数汇总 (2).pdf
03-01
- `Checkerboard`：生成棋盘格图像，用于几何校准。 - `Findbounds`：找到几何变换的输出范围。 - `Fliptform`：颠倒几何变换的输入/输出。 - `Imcrop`：修剪图像。 - `Imresize`：调整图像大小。 - `Imrotate...
cm-chessboard：用SVG渲染的棋盘，用ES6编码。 查看FEN，处理移动输入，动画，响应式，移动友好
02-04
棋盘 轻量级，基于ES6模块，响应Swift，移动友好的SVG棋盘，无需依赖。 它适用于台式机（当前版本的Chrome，Firefox，Safari，Edge）和移动设备（Android和iOS）。 CM-棋盘是主要的棋盘 / ，由成千上万的用户每天使用。 产品特点 使用SVG进行渲染 ECMAScript 6语法中的Vanilla JavaScript模块 没有依赖 演示和存储库 演示： ： 仓库： : 安装 选项1：使用npm install cm-chessboard安装，或者 选项2：从下载代码并运行npm install 。 安装后，将cm-chessboard/ass
传统渲染与DLSS2.0的对比
xiaochu233的博客
01-14 5033
调研大作业 在这次调研过程中先了解了一下下渲染，之后从传统抗锯齿算法和传统超分辨率算法两个角度与DLSS2.0对比，探究DLSS2.0的意义。 引言 所有的计算性能仿佛就是一块蛋糕，每当你开启新的技术，蛋糕就要被切除一块，而如果你开启软阴影、全局光照、超级采样，那么蛋糕当中的极大部分就会被砍掉，或者说硬件性能守恒，这意味着除非更换硬件，否则没有办法在不削弱一部分体验的前提中提高你另一部分的体验（在大多时候都是游戏），这点就注定很多的优化软件都是基于歪理邪说，道理很简单，如果你不升级配置，或者不超频，那么你的
shader基本图形绘制——棋盘格checkerboard
searobbers_duck的博客
12-17 956
参见：基本图形——Checkerboard 代码如下： //============================================================ // uv.x: [-1.0,1.0] // uv.x*4.0: [-4.0, 4.0] // 以4x4的棋盘格为例，从左到右，从下到上，依次编号0(0,0),1(1,0),...,4(0,1),...,15(3,3), // 则0（0,0）格子中floor(uv.x * 4.0) + floor(uv.y * 4.0)
UE4 随笔记录1
一个字
05-02 666
1、蓝图材质转换HLSL代码 在蓝图中创建Post Process Material，然后创建SceneTexture，ID选择CustomStencil，如下图： 在材质编辑器下，点击Window->Shader Code->HLSL Code,copy对应代码，保存生成custom.hsls文件（名称随便命名，目的方便描述该文件）。 HLSL code 是基于MaterialTemplate.ush(Engine/Shader/Private)进行生成。 如何生成？目前没有
[gdc16]Rainbow6：siege的渲染和破坏技术
安柏霖的专栏
04-25 5374
gdc16的文章，是一个多个文章的合集，包括了rainbow6 siege的标志性技术：大规模破坏，以及相关的渲染技术。 整个游戏拥有前所未有的破坏的效果，也是游戏的核心，非常的畅快和酷炫
https://zhuanlan.zhihu.com/p/36070173
热门推荐
Julia & Rust & Python
05-11 3万+
https://zhuanlan.zhihu.com/p/36070173
人脸检测背景介绍和发展现状
weixin_NineDays66
07-30 1万+
写这个系列的动机有两点：（第零是农药双排队友周末经常有事，没人一起玩，）第一，检测和跟踪之间有斩不断分不开的密切关系（官方CP），从应用角度和通用方法都非常相似相关，人脸检测问题可以为您提供更开阔的思路；第二是打算写自己正在做的深度学习相关内容，人脸检测系列为以后CNN经典模型分析，CNN压缩和加速等内容做个铺垫，证明CNN真的非常有用不难落地（当然理论欠缺、训练难、需要大数据是客观问题）。 虽然...
虚幻4渲染系统结构解析
一起来捉 Bug 呀~~
10-10 4039
本文根据小米互娱 VR 技术专家 房燕良在 MDCC 2016 移动开发者大会上的演讲整理而成，PPT 下载地址：http://download.csdn.net/detail/sinat_14921509/9639244。 小米互娱 VR 技术专家 房燕良房燕良，从 2001 年开始，自主研发 3 代游戏引擎，发布游戏超过 10 款。代表作品有《仙剑3》、《功夫世界》、《龙online》、...
UE4 后期处理 PostProcess
kuangben2000的博客
09-22 1956
UE4 后期处理 PostProcess https://zhuanlan.zhihu.com/p/32593741 在GDC2014上，UE4就提出了它移动端后期处理管线设计（参考Next_Generation_Mobile_Rendering 文章） 流程大致是 降低分辨率（Smart Reduction）（在各个Pass里处理，没有直接降低RT分辨率）-> 景深(Depth of Field) (可有可无) -> 模糊(Bloom)-> 光轴(LightShaft)
把下面打印的数据输出到excel中# 把黑棋/白棋落子的坐标打印出来 print(f'{chessman.Name} ({point.X}, {point.Y})') self._checkerboard[point.Y][point.X] = chessman.Value # 打印获胜方出来 if self._win(point): print(f'{chessman.Name}获胜') return chessman
最新发布
06-02
这段代码不是一个表格数据，无法直接输出到 Excel 中。如果你想将程序运行时输出的内容保存到 Excel 文件中，可以使用Python中的logging模块记录日志信息。以下是一个示例代码： ```python import logging # 创建日志文件 logging.basicConfig(filename='output.log', level=logging.INFO) # 把黑棋/白棋落子的坐标记录到日志中 logging.info(f'{chessman.Name} ({point.X}, {point.Y})') self._checkerboard[point.Y][point.X] = chessman.Value # 打印获胜方出来 if self._win(point): logging.info(f'{chessman.Name}获胜') return chessman ``` 这段代码会将程序运行时输出的信息保存到名为`output.log`的日志文件中，你可以根据自己的需求修改文件名和日志级别。如果你需要将日志信息导出到 Excel 文件中，可以使用Python中的pandas库将日志文件读取为DataFrame格式，并输出到Excel文件中。以下是一个示例代码： ```python import pandas as pd # 读取日志文件 df = pd.read_csv('output.log', sep='\t', header=None, names=['时间', '级别', '信息']) # 输出到Excel文件中 df.to_excel('output.xlsx', index=False) ``` 这段代码会将日志文件读取为DataFrame格式，并输出到名为`output.xlsx`的Excel文件中。你可以根据自己的需求修改文件名和读取参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值