zeroverse：高效生成大型重建模型的数据集

zeroverse：高效生成大型重建模型的数据集

zeroverse Official code for arxiv paper LRM-Zero: Training Large Reconstruction Models with Synthesized Data 项目地址: https://gitcode.com/gh_mirrors/ze/zeroverse

项目介绍

zeroverse 是一个开源项目，旨在实现论文《LRM-Zero: Training Large Reconstruction Models with Synthesized Data》中的核心代码。该论文由Desai Xie等人撰写，是Adobe Research、Stony Brook University和Kiel University的合作成果。项目提供了一种高效的方法，用于通过合成数据训练大型重建模型，极大地推动了计算机视觉和3D重建领域的发展。

项目技术分析

zeroverse 的核心技术基于SIGGRAPH 2018的论文《Deep Image-Based Relighting from Optimal Sparse Samples》，并使用了一个公开的材料数据集MatSynth。项目通过Python脚本create_shapes.py生成单个zeroverse对象，并支持通过不同的种子值并行运行代码以生成大规模数据集。

项目环境需要Python 3.10，以及Blender等图形处理工具和相关的Python库，如opencv-python、pillow等。项目的代码设计允许对生成的形状进行布尔差集和线框增强，从而丰富模型的多样性。

项目及技术应用场景

zeroverse 的应用场景广泛，主要针对的是计算机视觉领域中的3D重建技术。以下是几个典型的应用场景：

1. 3D模型训练与测试：通过合成大量多样化的3D对象，可以为神经网络提供丰富的训练数据，从而提高模型的泛化能力和鲁棒性。
2. 虚拟现实与增强现实：在虚拟现实和增强现实应用中，需要大量的3D对象来构建虚拟环境，zeroverse可以帮助快速生成这些对象。
3. 计算机图形学：在计算机图形学中，生成复杂的三维形状对于算法测试和视觉效果设计至关重要。

项目特点

1. 高效性：zeroverse 通过并行处理和合成数据，大大提高了数据生成的效率。
2. 灵活性：项目允许用户自定义生成形状的参数，包括形状的子对象数量、尺寸、材质等，从而提供极高的灵活性。
3. 可扩展性：通过简单的并行化处理，用户可以轻松扩展数据集的规模，满足不同项目的需求。

以下是使用zeroverse生成单个对象的步骤：

# 生成对象
python create_shapes.py --seed 0 --output_dir outputs/

# 渲染对象
python zeroverse_rgba.py --seed 0 --object_path outputs/some_uuid/some_uuid.glb --output_dir outputs/some_uuid/views

若要生成完整的数据集，只需将上述单对象生成过程并行化，并运行800K次，每次使用不同的种子值，即可得到800K个对象的数据集。

在使用和推广zeroverse时，若发现其价值，建议引用以下论文：

@misc{xie2024lrmzero,
      title={LRM-Zero: Training Large Reconstruction Models with Synthesized Data}, 
      author={Desai Xie and Sai Bi and Zhixin Shu and Kai Zhang and Zexiang Xu and Yi Zhou and Sören Pirk and Arie Kaufman and Xin Sun and Hao Tan},
      year={2024},
      eprint={2406.09371},
      archivePrefix={arXiv},
      primaryClass={id='cs.CV' full_name='Computer Vision and Pattern Recognition' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers image processing, computer vision, pattern recognition, and scene understanding. Roughly includes material in ACM Subject Classes I.2.10, I.4, and I.5.'}
}

zeroverse 项目的开源精神和前沿技术，使其成为3D重建领域不可或缺的工具之一。通过本文的介绍，我们希望更多的研究人员和开发者能够了解并使用zeroverse，共同推动相关技术的进步。

zeroverse Official code for arxiv paper LRM-Zero: Training Large Reconstruction Models with Synthesized Data 项目地址: https://gitcode.com/gh_mirrors/ze/zeroverse