谷歌团队新技术Alchemist：使用扩散模型对材料属性进行参数控制

Alchemist是由谷歌团队和麻省理工学院联合研发的一项创新技术，它利用扩散模型对材料属性进行精细的参数控制。这项技术的核心在于能够对真实图像中的物体材料属性进行调整，包括粗糙度、金属感、反照率和透明度等。Alchemist的实现依赖于先进的文本到图像模型，这些模型以其生成的照片真实感而著称。通过输入标量值和指令，Alchemist能够改变图像中的低级材料属性，同时保留图像中的高级语义和其他信息。

喜好儿网

为了克服缺乏具有受控材料属性的数据集的挑战，研究团队生成了一个以对象为中心的合成数据集。这个数据集基于物理属性，使得在合成数据集上微调预训练的文本到图像模型成为可能。经过微调的模型能够对真实世界图像中的材料属性进行编辑，实现仅具有所需材料属性的平滑编辑内容，同时保持图像中的其他属性不变。

Alchemist技术的展示还包括了在材料编辑的NeRFs中的潜在应用。在DTU MVS的精选场景中，研究团队对NeRF进行了材质编辑，通过调整训练图像的反照率或镜面反射，训练出了一个普通的NeRF配置。结果显示，即使在训练分布之外，也能得到具有预期反照率、粗糙度和金属变化的三维结构，尽管存在一些类似飞蚊症的现象和背景伪影。