StereoCrafter：腾讯开源将任意2D视频转换为立体3D视频的框架，适用于Apple Vision Pro等多种显示设备

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. 功能：StereoCrafter 能够将单目2D视频转换为立体3D视频，适用于多种显示设备。
2. 技术：基于深度估计、视频splatting和立体视频修复三个核心步骤，实现高保真度的视频转换。
3. 应用：广泛应用于影视制作、虚拟现实、游戏开发、在线教育和广告营销等领域。

正文（附运行示例）

StereoCrafter 是什么

StereoCrafter 是腾讯 AI Lab 和 ARC Lab 共同推出的创新框架，旨在将单目视频（2D视频）转换为立体3D视频，满足日益增长的3D内容需求。该框架基于深度估计、视频splatting和立体视频修复三个核心步骤，实现高保真度的2D到3D视频转换。

StereoCrafter 使用预训练的稳定视频扩散模型作为基础，并针对立体视频修复任务进行微调，能够适应不同长度和分辨率的视频输入。通过这一框架，开发者可以轻松将传统的2D视频素材转换为沉浸式的3D版本，为数字媒体的未来发展提供新的可能性。

StereoCrafter 的主要功能

1. 2D到3D视频转换：将单目2D视频转换为沉浸式立体3D视频，适用于多种显示设备，如3D眼镜和Apple Vision Pro。
2. 高保真度生成：使用深度学习技术，确保生成的视频具有高质量和一致性，满足现代3D显示设备的需求。
3. 深度估计：基于先进的深度估计方法，获取输入视频的深度信息，为后续处理提供基础。
4. 视频splatting：使用深度图进行视频变形，生成右视图并提取遮挡掩码，处理视频中的遮挡区域。
5. 立体视频修复：填补变形后视频中的空缺区域，确保最终生成的立体视频完整且自然。

StereoCrafter 的技术原理

1. 深度估计：基于先进的深度估计模型（如DepthCrafter）从输入的单目视频中提取深度图。
2. 视频splatting：基于深度图，将左视图视频变形为右视图，生成遮挡掩码，处理视频中的遮挡情况。
3. 立体视频修复：使用生成的遮挡掩码，基于立体视频修复技术填补变形后视频中的空缺区域，生成最终的右视图视频。
4. 数据处理流水线：构建高质量的数据集支持模型训练，确保生成结果的高保真度和一致性。

如何运行 StereoCrafter

1. 设置环境

StereoCrafter 运行在 Python 3.8 和 Cuda 11.8 环境下。你可以使用 Anaconda 或 Docker 来构建基础环境。

2. 克隆仓库

git clone --recursive https://github.com/TencentARC/StereoCrafter
cd StereoCrafter

3. 安装依赖

pip install -r requirements.txt

4. 安装自定义的 Forward-Warp 包

cd ./dependency/Forward-Warp
chmod a+x install.sh
./install.sh

5. 下载模型权重

mkdir weights
cd ./weights
git lfs install
git clone https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1
git clone https://huggingface.co/tencent/DepthCrafter
git clone https://huggingface.co/TencentARC/StereoCrafter

6. 运行推理脚本

sh run_inference.sh

资源

• 项目官网：https://stereocrafter.github.io/
• GitHub 仓库：https://github.com/TencentARC/StereoCrafter
• HuggingFace 模型库：https://huggingface.co/TencentARC/StereoCrafter
• arXiv 技术论文：https://arxiv.org/pdf/2409.07447

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦