单图生成 2D 和 3D 人物，高质量图像处理模型 CharacterGen来啦！

CharacterGen引入了一个简化的生成流程和一个图像条件的多视图扩散模型。该模型有效地将输入姿态校准到规范形式，同时保留输入图像的关键属性，从而解决了多样化姿态带来的挑战。

CharacterGen的另一个核心组成部分是基于Transformer的、可泛化的稀疏视图重建模型，它有助于从多视图图像创建详细的3D模型。还采用了纹理反投影策略来生成高质量的纹理贴图。此外，建立了一个动漫角色数据集，以多种姿态和视角渲染，用于训练和评估我们的模型。

使用云平台：OpenBayes

注册 - OpenBayes

登录到 OpenBayes 平台后，打开「公共教程」，找到「CharacterGen 单图生成高质量 3D 角色」的教程。

进入到教程界面后，点击右上角「克隆」。

平台在克隆过程中以自动为我们配置好了模型文件，点击「下一步：选择算力」。

平台会自动选择合适的算力资源和镜像版本，这里使用的是英伟达 RTX 4090算力和 PyTorch 的镜像，点击「审核并执行」。可以使用文章开头的邀请链接，获得 RTX 4090 使用时长！

确认模型信息无误后，点击「继续执行」。

稍等片刻，待系统分配好资源，状态栏显示为「运行中」后，打开工作空间。

新建一个「终端」，在终端中输入指令「bash setup.sh」完成初始化。

接着输入「source~/.bashrc」来完成模型的配置。

当返回一个新的终端后，接着输入「bash run.sh」。

显示 8080 后，点击右侧 API 地址处的链接就可以进入 Demo 界面了。需要注意的是使用 API 需要先进行实名认证~

该模型为我们提供了两种模式，分别为 2D 生成和 3D 生成。2D 生成可以根据我们输入的图片来输出前后左右 4 个方向的姿态；3D 生成则可以直接生成一个 3 维模型。

需要注意的是，如果我们想要生成 3D 模型，需要先完成 2D 生成再进行 3D 生成。下面我们选择一个图片来进行尝试。

可以看到模型生成了 4 个方向的姿态，点击「Generate 3D Mesh」生成 3D 模型。

可以看到无论是 2D 生成还是 3D 生成，模型的效果都是不错的。