2D爆发，3D启航，解析AIGC技术蝶变，3D AIGC时代来了？

AIGC是否会取代人类？

在过去的一年里，AIGC无疑是各行各业中最火爆、最热门的话题。

无论是Midjourney（2022年7月推出），还是Stable Diffusion（2022年8月推出），这类2D生成式AIGC工具，都能够在短短几秒内将文字生成艺术风格的图片。2D AIGC工具的演化和进步，正在颠覆艺术家、设计师等创作者的工作流程。

随着这一轮的AIGC快速发展，我们开始猜想：它的下一个技术爆发点在哪？

也许就是3D数据生成！

因为，现在3D AIGC正在走2D AIGC的路！

2014年，随着生成对抗网络和变分自编码器的提出，AI模型开始被应用到图像生成和编辑领域。早期的AI模型主要被用于学习一些相对简单的图像分布或者进行一些图像编辑，常见的应用包括：人脸生成、图像风格迁移、图像超分辨率、图像补全和可控图像编辑。

但早期的图像生成/编辑模型与文本的多模态交互非常有限。此外，GAN网络通常较难训练，常遇到模式坍塌和不稳定等问题，生成的数据通常多样性较差，模型容量也决定了可利用数据规模的上限；VAE则常遇到生成的图像模糊等问题。

随着新技术和大数据集的涌现，图像生成AI得到了长足发展，实现了与语义理解的深度融合。

STEP 02：文生图模型新纪元

随着扩散生成（diffusion）技术的突破、大规模多模态数据集和多模态表征模型的出现与发展，2D图像生成领域在2021年前后取得重要突破。图像生成模型开始与文本进行深入的交互，大规模文生图模型惊艳登场。

当OpenAI在2021年初发布DALL-E时，AIGC技术才真正展现出巨大的商业潜力以及爆发力。DALL-E可以从任意的文本提示中生成真实和复杂的图像，并且成功率大大提高。一年内，大量文生图模型迅速跟进，包括DALL-E 2和Imagen。虽然这些技术当时还无法高效帮助艺术创作者产出能够直接投入生产的内容，但它们已经吸引了公众的注意，激发了艺术家、设计师等创作者的创造潜能。

STEP 03：从惊艳到生产力

随着技术细节的完善和工程优化的迭代，2D AIGC得到迅猛发展。Midjourney、Stable Diffusion等已成为了最受欢迎的AIGC工具。基于大规模的训练数据集的驱动，使得AIGC技术得到爆炸性突破，让社交媒体、游戏、广告等早期使用者受益。此外，大模型微调技术的出现与发展（ControlNet和Lora）也使得人们能够根据自己的实际需求和少量训练数据来“自定义”调整、扩展AI大模型，更好地适应不同的具体应用（如图像风格多样化、LOGO生成、二维码生成等）。

现在，借助AI生成式应用进行创意和原型设计的时间已经从过去的几天/几周，缩短至几小时。尽管大多数设计师仍然会AI提供的创意/灵感图，但在各大社交媒体平台中，直接使用AI生成的图像的情况越来越普遍。

除了文本转图像，2D AIGC持续有更多的最新发展。比如，文本转视频、图片人物中的换装等等，甚至还有探索从单张图像衍生出多视角的不同图像。

随着游戏、机器人等行业对3D内容的需求持续上升，当前AIGC技术的前沿研究也开始向3D内容生成延伸。从过去2D图像生成领域的快速进展来看，未来3D内容生成很可能也会经历类似的技术进步与应用普及。文本或图像到3D场景、对象的转换，也许就是是下一个值得期待的增长点。

近期在3D领域的种种技术突破告诉我们，3D AIGC的“DALL-E”时刻正在到来！从2021年末的DreamFields到2022年下半年的DreamFusion和Magic3D，再到今年五月的ProlificDreamer，得益于多模态领域和图像生成模型的发展，学术界的文本到3D模型生成研究也取得了许多进展。不少方法都能够从输入文本生成高质量的3D模型。

但现阶段的这些模型都需要成千上万次的步数迭代，在时间消耗上无法做到与2D图像生成一样迅速。比如Magic3D每个模型需要40分钟，而ProlificDreamer甚至需要好几个小时。此外，3D生成的一个巨大挑战便是3D模型必须具备从不同角度看物体形状的一致性。现有的3D AIGC方法常遇到雅努斯问题（即生成的3D对象存在不合理的几何结构）。

近期一些团队尝试打破优化范式，通过单步预测大幅提高了速度与质量,如Point-E、Shap-E和One-2-3-45。尤其One-2-3-45可在45秒时间内从2D图像生成高质量和具备一致性的3D网格！

这些3D AIGC领域最新的技术突破，不仅大大提高了生成速度和质量，同时也支持更灵活的用户输入形式。用户可以通过文本或图像作为输入来生成所需的3D模型。这大大扩展了3D AIGC在商业应用方面的可能性与落地性。

首先，让我们了解一下传统3D设计师创建3D模型，所需要经历的工作流程：

1.概念草图：根据需求和视觉参考进行头脑风暴，构思模型；

2.制作原型：创建模型的基本形状，并根据客户反馈进行迭代；

3.模型细化：将细节、颜色、纹理和动画属性（如绑定、动作等）添加到粗糙的3D模型中；

4.最终定型：使用图像编辑软件增强最终的渲染效果，调整颜色，添加效果，或进行元素合成。

这个过程通常需要几周的时间，如果涉及到动画，甚至可能需要更长。然而，如果有AI的帮助，上述每个步骤都可能会更快。

1.借助多视图图像生成模型快速绘制含多角度的2D草图；

2.使用文本或图像到3D转换技术在数分钟内生成多个3D原型；

3.采用模型优化算法，在几小时内自动细化原型并进行选定；

4.基于细化后的原型进行后期设计，输出高保真模型。

在可预见的未来不太可能完全取代。人类仍然是3D AIGC环节中不可缺失的一环。

尽管以上提到的3D模型生成技术，能在机器人技术、自动驾驶技术、3D游戏等场景中有许多应用，然而目前的生产流程仍然不能满足广泛的应用。

目前3D生成模型的主要核心难题是缺乏大量的高质量3D数据集。目前常用的3D数据集如ShapeNet或Objaverse，它们包含的模型数量和细节质量远不足以支撑后续的训练。与之相比，现阶段的2D领域的数据集已经超过了百亿。

此外，相较2D图像，3D模型的数据复杂程度要更高，例如:

1.模型各部件：游戏或数字孪生应用都需要对应的3D化结构部件；

2.绑定和动画：人与物体或物体与物体之间的互动属性；

3.纹理和材质：3D模型本身的纹理&材质，例如金属度、粗糙度、反射率等支持仿真交互的关键性质；

4.人机交互方式：需要支持设计师通过多种方式与3D模型进行交互操作。

这些都需要专业领域的技术人才来操作AI达到最终实现的效果。

在未来，3D AIGC应具备以下特性：

1.支持生成可交互的3D模型，包括物体间及人机交互，使其可广泛应用于游戏、元宇宙、物理模拟等场景；

2.支持AI辅助的3D内容生成，提升3D建模效率；

3.利用人类的艺术天赋，与AI形成良性循环，提升创作力的同时，加速3D AIGC的发展与落地。

过去一年，以Midjourney、Stable Diffiusion、Chatgpt等为首的AI工具取得了惊人的发展，那未来的3D AIGC是否也将以我们难以想象的速度持续进步并催生出更多创新，这一点，我们拭目以待~

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除