每个人都来跳舞现在 - PyTorch实现

每个人都来跳舞现在 - PyTorch实现

everybody_dance_now_pytorch A PyTorch Implementation of "Everybody Dance Now" from Berkeley AI lab. 项目地址: https://gitcode.com/gh_mirrors/ev/everybody_dance_now_pytorch

项目介绍

本项目是伯克利人工智能实验室“Everyone Dance Now”的PyTorch实现版本，它剔除了姿态标准化功能之外的所有核心功能。通过这个工具包，开发者能够将一个人的舞蹈动作迁移至另一个视频中的人物，从而创造出有趣且自然的合成舞蹈视频。项目基于深度学习模型，利用了PyTorch框架，并依赖于TensorFlow（用于姿势估计部分）以及一系列图像处理库。

项目快速启动

环境配置

首先，确保你的开发环境满足以下条件：

• 操作系统: Ubuntu 18.04或16.04
• Python: 3.6
• CUDA: 9.0 或更高
• PyTorch: 0.4.1post2
• 其他必要包: 可以通过运行 pip install -r requirements.txt 快速安装

下载项目及预训练模型

1. 克隆项目仓库到本地：

   git clone https://github.com/Lotayou/everybody_dance_now_pytorch.git
   

2. 下载并放置必要的预训练模型，例如从指定源下载姿势估计器，并将其放入项目中的相应文件夹。

运行示例

为了测试项目，你需要准备特定的视频数据集，遵循官方说明对数据进行处理，包括视频分割、帧提取、姿势估计等步骤。一旦准备完毕，可以尝试使用提供的脚本来训练模型或直接测试已有的模型。以下是简化的快速启动过程概览：

• 数据预处理后，你可以通过修改相应的脚本路径参数来开始训练过程，例如对于全局生成网络的基础训练：

  sh scripts/train_full_512.sh
  

• 对于测试流程，首先是合成完整视频，然后可能涉及面部增强：

  # 合成视频
  sh scripts/test_full_512.sh
  # 面部增强
  python face_enhancer/enhance.py
  

应用案例和最佳实践

该工具被设计用来把一个舞者的动作转移到另一个视频人物上。最佳实践建议使用背景简单、单人表演、持续时间较长且动作基本的视频作为输入，避免强烈光线变化和复杂肢体遮挡，以获得最佳效果。实践中，用户应先用准备好的数据训练模型，随后在新场景下测试模型性能，调整超参数以适应不同类型的舞蹈或视频环境。

典型生态项目

• everyone-dance-now-reproduce-pytorch [查看]：由不同的团队实现的另一版本，包含了更详细的正常化和面部增强功能。

• 相关研究与应用：此项目启发了许多围绕人体动作转换的研究工作，不仅限于舞蹈领域，也扩展到了虚拟现实、电影特效和个性化数字内容创作等领域。

在实际应用中，开发者可以根据自己的需求，结合这些生态项目的特点，探索创新的应用方式，推动视频编辑和生成艺术的边界。

everybody_dance_now_pytorch A PyTorch Implementation of "Everybody Dance Now" from Berkeley AI lab. 项目地址: https://gitcode.com/gh_mirrors/ev/everybody_dance_now_pytorch