Google Filament 源码学习（三）：Material System (二)

本文链接：https://blog.csdn.net/jiamada/article/details/122817442

Filament Materials Guide

Introduction

材质第二部分基础是Filament的材质框架使用指南，对于理解其材质框架很有帮助。本章还是以笔记为主。学习文档来源于官方文档：

https://github.com/google/filament/tree/main/docs/Materials.html

Material Models

Filament 的材质模型有以下几类
- Lit (or Standard)
- Subsurface
- Cloth
- Unlit
- Specular glossness (legacy)

Lit Model

Lit Model是Filament的标准材质模型
- 是基于物理的着色模型
- 与常用工具和引擎有很好的互操作性
  - 如Unity 5、Unreal Engine 4、Substance Designer，以及Marmoset Toolbag
- 该材质模型可用于描述许多非金属表面（dielectrics）或金属表面（conductors）
- 该材质模型的材质外观属性由如下参数控制
  - baseColor
    - 非金属表面的diffuse albedo或金属表面的specular color
    - 类型 float4
    - 范围 [0…1]
    - Pre-multiplied linear RGB
  - metallic
    - 绝缘体为0.0；金属为1.0
    - 通常使用二进制数表示
    - 类型 float
    - 范围 [0…1]
  - roughness
    - 感知平滑度（1.0）或粗糙度（0.0）。
    - 光滑的表面会产生尖锐的反射
    - 类型 float
    - 范围 [0…1]
  - reflectance
    - 介质表面在正常入射时的菲涅耳反射。
    - 直接控制反射的强度
    - 类型 float
    - 范围 [0…1]
    - (建议值)Prefer values > 0.35
  - sheenColor
    - sheen layer 的强度
    - 类型 float3
    - 范围 [0…1]
    - Linear RGB
  - sheenRoughness
    - sheen layer的感知平滑度或粗糙度
    - 类型 float
    - 范围 [0…1]
  - clearCoat
    - clear coat layer的强度
    - 类型 float
    - 范围 [0…1]
    - 需是0或1
  - clearCoatRoughness
    - clear coat layer的感知平滑度或粗糙度
    - 类型 float
    - 范围 [0…1]
  - anisotropy
    - tangent 或bitangent方向上的各向异性值
    - 类型 float
    - 范围 [-1…1]
    - 当此值为正时，anisotropy在切线方向
  - anisotropyDirection
    - Local surface 的方向
    - 类型 float3
    - 范围 [0…1]
    - Linear RGB，在切线空间中对方向矢量进行编码
  - ambientOcclusion
    - 定义着色点可以访问多少环境光。它是介于0.0和1.0之间的逐像素阴影因子
    - 类型 float
    - 范围 [0…1]
  - normal
    - 法线贴图，用于扰动曲面细节法线的bump mapping
    - 类型 float3
    - 范围 [0…1]
    - Linear RGB，在切线空间中对方向矢量进行编码
  - bentNormal
    - 指向当前着色位置的一个不被遮挡的平均方向，用于改善间接光照的质量
    - 类型 float3
    - 范围 [0…1]
    - Linear RGB，在切线空间中对方向矢量进行编码
  - clearCoatNormal
    - 用于扰动crear coat layer曲面细节法线的bump mapping
    - 类型 float3
    - 范围 [0…1]
    - Linear RGB，在切线空间中对方向矢量进行编码
  - emissive
    - 额外的diffuse albedo，用于模拟自发光物体
    - 类型 float4
    - 范围
      - rbg [0…n]
      - a [0…1]
    - Linear RGB强度（以尼特(nits)为单位），alpha编码曝光权重
  - postLightingColor
    - 可与照明计算结果混合的附加颜色，详见postLightingBlending
    - 类型 float4
    - 范围 [0…1]
    - Pre-multiplied linear RGB
  - ior
    - 折射率，适用于折射物体或作为反射率的替代方案
    - 类型 float
    - 范围 [1…n]
    - 可选，通常由反射率推导出来
  - transmission
    - 定义有多少绝缘体的漫反射光通过物体，换句话说，就是定义了物体的透明度
    - 类型 float
    - 范围 [0…1]
  - absorption
    - 折射物体的吸收因子
    - 类型 float
    - 范围 [0…n]
  - microThickness
    - 折射物体thin layer的厚度
    - 类型 float
    - 范围 [0…n]
  - thickness
    - 折射物体实心体(solid volume)的厚度
    - 类型 float
    - 范围 [0…n]
- 注意事项
  - Linear RGB
    - 有几种材质属性需要提供RGB颜色信息，Filament材质使用的都是线性空间的RGB颜色。因此，必须保证提供的颜色信息在线性空间中。
  - pre-multiplied RGB
    - Filament的材质使用的颜色是预先乘以alpha通道的
  - absorption
    - 通过材质的光衰减定义为 $e^{-absorption\cdot distance}$ ，距离取决于厚度(thickness )参数
    - 如果未提供厚度信息，则直接使用吸收(absorption)参数，通过材质的光衰减变为 $1 - a b s o r p t i o n$
    - 为了在所需距离下获取某种颜色，上述公式可以进行翻转为 $-\cfrac{ln(color)}{distance}$
  - ior and reflectance
    - 折射率（IOR）和反射率(reflectance)表示相同的物理属性，因此不需要同时指定。通常，仅指定反射率，并自动推导IOR。当仅指定了 IOR 时，将自动推导反射率。可以同时指定两个参数，在这种情况下，它们的值保持原样，这可能产生物理上不可能的材质(physically impossible materials)，但是，出于艺术原因，这种操作也是可取的。
  - thickness and microThickness for refraction
    - thickness 表示实体物体在法线方向上的厚度，为了获得令人满意的结果，这应该按fragment（例如：作为纹理）或至少按vertex提供。
    - microThickness 表示物体thin layer的厚度，通常可以作为常数值提供。例如，半径为1m的1mm薄空心球体的 thickness 为1，microThickness 为0.001。目前，当折射类型(refractionType )设置为薄时，不使用厚度参数。

Base Color

baseColor 定义对象的感知颜色(有时也称albedo(反照率))。
- baseColor的效果取决于物体表面的性质（由metallic 属性控制）
Non-metals (dielectrics)
- 定义物体表面的diffuse color
  - 如果编码在0~255之间，则取值范围在[10, 240]
  - 如果编码在0~1之间，则取值范围在[0.04, 0.94]
- 非金属的颜色值
  - 煤
    - sRGB：0.19，0.19，0.19
    - #323232
    - ██████████
  - 橡胶
    - sRGB：0.21，0.21，0.21
    - #353535
    - ██████████
  - 泥土
    - sRGB：0.33，0.24，0.19
    - #553d31
    - ██████████
  - 木材
    - sRGB：0.53, 0.36, 0.24
    - #875c3c
    - ██████████
  - 植物
    - sRGB：0.48, 0.51, 0.31
    - #7b824e
    - ██████████
  - 砖
    - sRGB：0.58, 0.49, 0.46
    - #947d75
    - ██████████
  - 沙子
    - sRGB：0.69, 0.66, 0.52
    - #b1a884
    - ██████████
  - 混凝土
    - sRGB：0.75, 0.75, 0.73
    - #c0bfbb
    - ██████████
Metals (conductors)
- 定义物体表面的specular color
  - 如果编码在0~255之间，则取值范围在[170, 255]
  - 如果编码在0~1之间，则取值范围在[0.66, 1.00]
- 金属的颜色值
  - 银
    - sRGB：0.97, 0.96, 0.91
    - #f7f4e8
    - ██████████
  - 铝
    - sRGB：0.91, 0.92, 0.92
    - #e8eaea
    - ██████████
  - 钛
    - sRGB：0.76, 0.73, 0.69
    - #c1baaf
    - ██████████
  - 铁
    - sRGB：0.77, 0.78, 0.78
    - #c4c6c6
    - ██████████
  - 铂金
    - sRGB：0.83, 0.81, 0.78
    - #d3cec6
    - ██████████
  - 金
    - sRGB：1.00, 0.85, 0.57
    - #ffd891
    - ██████████
  - 黄铜
    - sRGB：0.98, 0.90, 0.59
    - #f9e596
    - ██████████
  - 铜
    - sRGB：0.97, 0.74, 0.62
    - #f7bc9e
    - ██████████

Metallic

metallic 属性定义物体表面是金属[metallic (conductor)]还是非金属[non-metallic (dielectric)]
- 应该使用二进制0或1表示
- 使用纹理时，中间值仅适用于在不同类型物体表面之间的过渡
metallic 可以明显改变物体表面的外观。
- 非金属表面具有漫反射和镜面反射（反射光不会改变颜色）
- 金属表面没有任何漫反射，只有镜面反射（反射光使用baseColor）

Roughness

roughness 控制物体表面的感知平滑度(perceived smoothness)。当粗糙度设置为0时，物体表面完全光滑且具有很高的光泽度。
- 表面越粗糙，反射就越"模糊"。roughness 在其他引擎和工具中通常称为光泽度，并且与粗糙度值相反（roughness = 1 - glossiness）

Reflectance

reflectance 属性仅影响非金属表面。该属性可用于控制材质的镜面反射强度和折射率。取值在 0 到 1 之间，表示反射率百分比的remapping 。例如，默认值 0.5 对应于 4% 的反射率。应避免该值低于0.35（2%反射率），因为真实材质中没有如此低的反射率。

常用材质的 reflectance 如下

aterial	Reflectance	IOR	Linear value
水	2%	1.33	0.35
织物	4% ~ 5.6%	1.5 ~ 1.62	0.5 ~ 0.59
常见液体	2% ~ 4%	1.33 ~ 1.5	0.35 ~ 0.5
常见宝石	5% ~ 16%	1.58 ~ 2.33	0.56 ~ 1.0
塑料、玻璃	4% ~ 5%	1.5 ~ 1.58	0.5 ~ 0.56
其他绝缘体材质	2% ~ 5%	1.33 ~ 1.58	0.35 ~ 0.56
眼睛	2.5%	1.38	0.39
皮肤	2.8%	1.4	0.42
毛发	4.6%	1.55	0.54
牙齿	5.8%	1.63	0.6
默认值	4%	1.5	0.5

注意
- 定义reflectance 时，不必定义 ior。
- 设置了这两个参数的任意一个时，将自动计算另一个的值。
- 也可以两个都设置，在这种情况下，它们的值保持原样，这可能导致物理上不可能的材质（上一节已经阐述过了，这里注意一下就行）
reflectance 是归一化的值，范围在[0…1]。因此，很容易使用纹理保存

Sheen color

Sheen Color 控制 base layer 上，可选 sheen layer 的外观和强度。如果存在 clear coat layer，sheen layer 始终位于clear coat layer的下方

Sheen roughness

与 roughness 相同，只不过 sheen roughness 只适用于 sheen layer

Clear coat

多层材质(Multi-layer materials)非常常见，特别是在 base layer 上有一层半透明的材质。
- 现实世界中，这类材质有：车漆、易拉罐、木漆、丙烯酸
clearCoat 属性可以描述两层材质，clear coat layer 必须是各项同性的绝缘体
clearCoat 控制 clear coat layer 的强度
- 应该为二进制数值，0 或 1
- 中间值控制 clear coat layer 和 base layer之间的过渡效果
clear coat layer 会使specular 部分计算翻倍。因此如果不需要clear coat layer，则将 clearCoat 设置为0.0
clear coat layer 必须在 sheen layer 之上

Anisotropy

像拉丝金属这样的材质，只能使用各向异性模型进行建模。
- 通过使用 anisotropy 可以使默认为各项同性的材质变为各项异性
如果 anisotropy 为正数
- tangent 方向的各项异性
- bitangent 方向的各项异性
各项异性材质的着色比标准材质略为耗时，如果不需要各向异性，将 anisotropy 设置为 0.0

Anisotropy direction

anisotropyDirection 定义着色点的方向，控制 specular 高光的形状。
- 通常从纹理获取的，是一个vec3类型，编码切线空间中曲面的局部方向。
- 由于方向位于切线空间，z 分量应该设置为 0

Ambient occlusion

ambientOcclusion 定义着色点接收多少环境光照
- 它是一个 per-pixel shadowing factor
- 取值范围 0.0(fully shadowed) 和 1.0(fully lit) 之间
- 只影响 diffuse 间接光照（image-based lighting）
- 不会影响点光源、定向光、聚光灯等直接光照
- 也不会影响镜面反射光照(specular lighting.)

Normal

normal 定义曲面在给定点处的法线
- 一般从法线贴图获取。因此，是一个 per-pixel 值
- 法线在切线空间中。因此，+Z朝向曲面外部
使用法线会增加材质渲染时的计算成本

Bent normal

bentNormal 定义着色点的平均遮挡方向，用于提高间接光照的精度
- Bent normal还可以提高 specular ambient occlusion 的质量

Clear coat normal

clearCoatNormal 定义着色点 clear coat layer 的法线
- 与normal不同
使用 clearCoatNormal 会增加材质渲染时的计算成本

Emissive

emissive 用于模拟物体表面自发光效果
- float4 类型的值
  - 其中rgb表示强度（nit 尼特）
  - alpha 表示曝光强度
以尼特为单位的intensity可以让自发光物体与光源有相同的作用，用于重建现实世界中的物体表面
如果使用EV (or f-stops[光圈系数]) 曝光值。
- 则可以使用自发光颜色乘以 API filament::Exposure::luminance(ev)得到
- 该API返回特定EV的亮度(以尼特为单位)
- 也可以使用如下公式进行转换
  - $L = 2^{EV-3}$
Alpha通道中保存的曝光权重可以扰动相机曝光，以此让自发光物体泛光(bloom)
- 当曝光强度为0时，则自发光 intensity 不受相机曝光的影响
- 当曝光强度为1时，intensity 将乘以相机曝光度

Post-lighting color

postLightingColor 用于在光照计算完成时修改物体表面的颜色
- 该参数没有物理意义，仅用于实现特定效果或用于debug
- 为float4
  - 为预乘Alpha的线性RGB值
- post-lighting 的颜色根据postLightingBlending material选项指定的混合模式与光照结果进行混合
- 详情可以参照文档
- postLightingColor 可以当作一个简单的emissive属性使用
  - 将 postLightingBlending 设置为add
  - 提供一个alpha为0.0的RGB颜色

Index of refraction

IOR 仅作用与非金属材质，可以控制材质的折射率和镜面反射强度
- IOR 与折射(透射)材质一起使用
  - refractionMode 设置为 cubemap 或开启 screenspace
  - IOR也可以用于非折射物体上，作为反射率使用
材质的 IOR (or refractive index) 是一个无量纲数（dimensionless ），描述了光通过材质的速度
- 数值越大，光在介质中传播的速度越慢。
- 对于渲染材质而言，IOR 决定了光线进入材质的路径是如何弯曲的
  - 较高的 IOR 将导致光线在远离初始路径的地方弯曲
不同材质 IOR 如下表

Material IOR
空气 1.0
水 1.33
常见液体 1.33 ~ 1.5
常见宝石 1.58 ~ 2.33
塑料、玻璃 1.5 ~ 1.58
其他绝缘体材质 1.33 ~ 1.58
折射材质的外观在很大程度上取决于材质 refractionType 和 refractionMode 的设置
IOR 和 reflectance 设置任何一个即可计算出另一个。也可以两个都设置，具体原因在上一节已经叙述
折射材质受粗糙度特性的影响
- 粗糙的材质会散射光线，产生散射效果。有助于重现"模糊"的外观，如磨砂玻璃、某些塑料等

Material	IOR
空气	1.0
水	1.33
常见液体	1.33 ~ 1.5
常见宝石	1.58 ~ 2.33
塑料、玻璃	1.5 ~ 1.58
其他绝缘体材质	1.33 ~ 1.58

Transmission

transmission 定义了漫射光通过折射材质的透射比率。仅影响refractionMode 设置为 cubemap 或 screenspace 的材质。
当 transmission 设置为 0 时，不会透射任何光，并且物体表面的diffuse 部分100%可见。当 transmission 设置为 1 时，所有光都会透射，diffuse 部分不再可见，只有 specular 部分可见。
transmission 可用于在折射类型材质，如创建贴花、清漆等。

Absorption

absorption 定义了穿过材质的光的吸收系。
通过物体的透射率遵循光学深度 [optical depth]（用 microThickness 或 thickness定义）并呈指数级。计算出的颜色遵循以下公式：
- $color \cdot e^{-absorption \cdot distance}$
- 如果 $d i s t a n c e$ 是 microThickness 或 thickness，则表示光在给定点穿过材质的距离。如果未指定厚度/距离，则计算出的颜色将改为遵循以下公式：
  - $color \cdot (1 - absorption)$
直接设置吸收系数可能不直观，这就是为什么我们建议使用 transmittance color 和 “at distance” 因子。这两个参数允许艺术家指定材质在体的指定距离上具有更精确颜色。absorption 可以这样计算：
- $\cfrac{ln(transmittanceColor)}{atDistance}$
- 虽然这种计算可以在材质渲染中完成，但我们建议尽可能离线进行。Filament 为此目的提供了一个API，Color::absorptionAtDistance().。

Micro-thickness and thickness

microThickness 和 thickness 属性定义了折射物体材质的光学深度。当 refractionType 设置为 thin 时使用 microThickness，当refractionType 设置为 volume 时使用 thickness。
thickness 表示实心物体在法线方向上的厚度，为了获得令人满意的结果，这应该按 per fragment （如：纹理）或至少按 per vertex 提供。
microThickness 表示物体 thin layer（壳）的厚度，通常可以作为常量值提供。例如，半径为1m的1mm薄空心球体的 thickness 为 1，microThickness 为 0.001。当前，当 refractionType 设置为 thin 时，不使用 thickness 。这两个属性都可供将来使用。
thickness 和 microThickness 都用于当 absorption被设置时计算材质的透射颜色。在实心体中，thickness 也会影响光线的折射方式。

Cloth model

前面描述的所有材质模型都旨在模拟宏观和微观层面的致密表面。然而，衣服和织物通常由松散连接的线制成，这些线吸收并散射入射光。与硬表面 (hard surfaces) 相比，布料的特点是具有 softer specular lob，具有较大的衰减和模糊光照 (fuzz lighting) 的存在，这是由向前/向后散射引起的。一些面料还呈现出 two-tone specular colors（例如天鹅绒）。
注意
- 有些类型的织物仍最好通过硬表面材质模型进行建模。例如，皮革、丝绸和缎子可以使用标准或各向异性材质模型进行实现。
布料模型包含先前为标准材质模式定义的所有参数，但 metallic 和 reflectance 除外。两个额外参数如下：
- sheenColor
  - 用于创建 two-tone specular 织物的镜面色调（Specular tint）
  - 默认为 $\sqrt{baseColor}$
  - 类型 float3
  - 范围 [0…1]
  - Linear RGB
- subsurfaceColor
  - 穿过材质时散射和吸收后的 diffuse color 的色调
  - 类型 float3
  - 范围 [0…1]
  - Linear RGB
要创建类似天鹅绒的材质，base color 可以设置为黑色（或深色）。染色（Chromaticity ）信息应改为设置在 sheen color 上。要创建更常见的织物，例如牛仔布，棉质等，请使用 base color 以获得染色信息，并使用默认的sheen color 或将 sheen color 设置为 base color 的亮度。
要查看 roughness 参数的效果，请确保 sheenColor 比 baseColor 更亮。这可用于创建模糊效果（fuzz effect）。以 baseColor 的亮度作为 sheenColor 将产生一种相当自然的效果，适用于普通布料。深色 baseColor 与明亮/饱和（bright/saturated）的 sheenColor 相结合，可用于创建天鹅绒。
应谨慎使用 “subsurfaceColor” 参数。高值可能会干扰某些区域中的阴影。它最适合光线通过材质时产生细微的透射效果。

Sheen color

sheenColor 属性可用于直接修改 specular reflectance。它可以更好地控制布料的外观，并赋予创建 two-tone specular 材质的能力。

Subsurface color

subsurfaceColor 属性不是基于物理的，可用于模拟某些类型织物中光的散射（scattering）、部分吸收（partial absorption）和再发光（re-emission）。这对于创建更柔软的织物（softer fabrics）特别有用。

Unlit model

Unlit model 可用于关闭所有照明计算。其主要目的是渲染预光照（pre-lit）元素，如立方体贴图，外部内容（如视频或摄像机流），用户界面，可视化/调试等。unlit model 仅暴露如下属性。

Property	Definition	Type	Range	Not
baseColor	物体表面漫反射颜色	float4	[0…1]	Pre-multiplied linear RGB
emissive	用于模拟自发光表面的附加漫反射颜色。此属性在bloom pass 的 HDR 管线中最有用	float4	rgb = [0…n], a=[0, 1]	线性RGB intensity（以尼特为单位），alpha编码曝光权重
postLightingColor	可与baseColor 和 emissive 混合的额外颜色	float4	[0…1]	Pre-multiplied linear RGB