【AnimateAnyone】姿态可控视频生成模型训推，让图片里的人物动起来！

最新推荐文章于 2025-03-03 18:30:42 发布
最新推荐文章于 2025-03-03 18:30:42 发布
阅读量1.9k 收藏 14
点赞数 21
分类专栏： AI写算法 文章标签： 音视频 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/class4715/article/details/139679381
版权

1. 模型简介

Animate Anyone是一项角色动画视频生成技术，能将静态图像依据指定动作生成动态的角色动画视频。该技术利用扩散模型，以保持图像到视频转换中的时间一致性和内容细节。训练由两阶段组成，对不同组网成分进行微调。具体实现借鉴于MooreThreads/Moore-AnimateAnyone。

2. 环境准备

安装新版本ppdiffusers以及该项目相关依赖。

In [ ]

!pip install https://paddlenlp.bj.bcebos.com/models/community/junnyu/wheels/ppdiffusers-0.24.0-py3-none-any.whl --user
!pip install -r requirements.txt --user

3. 模型下载

运行以下自动下载脚本，下载 AnimateAnyone 推理以及训练初始化模型权重文件，模型权重文件将存储在./pretrained_weights下。

In [3]

!python scripts/download_weights.py
/opt/conda/envs/python35-paddle120-env/lib/python3.10/site-packages/_distutils_hack/__init__.py:33: UserWarning: Setuptools is replacing distutils.
  warnings.warn("Setuptools is replacing distutils.")
W0420 15:57:14.067077 131773 gpu_resources.cc:119] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 12.0, Runtime API Version: 11.8
W0420 15:57:14.068542 131773 gpu_resources.cc:164] device: 0, cuDNN Version: 8.9.
Preparing AnimateAnyone pretrained weights...
(…)ity/tsaiyue/AnimateAnyone_PD/config.json: 100%|█| 746/746 [00:00<00:00, 2.56M
(…)AnimateAnyone_PD/denoising_unet.pdparams: 100%|▉| 3.44G/3.44G [00:27<00:00, 1
(…)eAnyone_PD/motion_module_stage2.pdparams: 100%|▉| 909M/909M [00:08<00:00, 108
(…)ue/AnimateAnyone_PD/pose_guider.pdparams: 100%|█| 4.35M/4.35M [00:02<00:00, 1
(…)AnimateAnyone_PD/reference_unet.pdparams: 100%|▉| 3.44G/3.44G [00:30<00:00, 1
(…)e_PD/control_v11p_sd15_openpose.pdparams: 100%|▉| 1.45G/1.45G [00:17<00:00, 8
(…)one_PD/animatediff_mm_sd_v15_v2.pdparams: 100%|▉| 1.82G/1.82G [00:07<00:00, 2
(…)D/denoising_unet_initial4stage1.pdparams: 100%|▉| 3.44G/3.44G [00:39<00:00, 8
Preparing DWPose weights...

4. 两阶段训练

4.1 训练数据准备

训练数据由ubc_fashion和bili_dance两个数据集组成，其中ubc_fashion包含598组数据，bili_dance包含2451组数据，数据获取方式如下：

In [7]

# ubc_fashion数据集下载
!wget https://bj.bcebos.com/paddlenlp/models/community/tsaiyue/ubcNbili_data/ubcNbili_data.tar.gz

# 文件解压
!tar -xzvf ubcNbili_data.tar.gz

# 删除压缩文件
!rm -rf ubcNbili_data.tar.gz
./ubcNbili_data/video_dwpose/BV1Gu4y1e72H_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1dp4y1j7N9_segment_03_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1nm4y1Q7PU_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1EY411z7qN_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Tz4y1x7Nu_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1sK411e7zk_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1vu4m1P7yr_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1jg411G7dT_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1hP4y117v1_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1eN411B7LK_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1G44y1V7KZ_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1sW4y1m755_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1LK411Y7Nx_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_34.mp4
./ubcNbili_data/video_dwpose/BV1TY4y1a7Bw_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1mC4y1A7gt_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1nQ4y1X7L2_segment_07.mp4
./ubcNbili_data/video_dwpose/BV19N411p7FJ_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1CY4y1M7Bj_segment_12.mp4
./ubcNbili_data/video_dwpose/BV1vJ411x7af_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1zj411L7v9_segment_03.mp4
./ubcNbili_data/video_dwpose/BV12H4y1L7Qf_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1eN411B7LK_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1bS4y1a71t_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1aH4y177tp_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1YF411v7GN_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Mh411W7GV_segment_03.mp4
./ubcNbili_data/video_dwpose/BV16F4m1u7KC_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Wp4y1m7AY_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1h34y1e7h4_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1br4y1F7mr_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1QS4y1P7Yu_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1bz411e7JE_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1QM411a7Wy_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1TY4y1a7Bw_segment_00.mp4
./ubcNbili_data/video_dwpose/BV125411R7ru_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1b841117TP_segment_04_part_2_cut.mp4
./ubcNbili_data/video_dwpose/BV1iv411q7EL_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1HF411u7QK_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1uV4y1x7RU_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1nZ4y187Sh_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1K84y1L7UU_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Tk4y1H7n1_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1SE411R7za_segment_02.mp4
./ubcNbili_data/video_dwpose/BV14V4y1Y78o_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1eJ4m1W7k4_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Qy421a7Jf_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1YF411v7GN_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1Dk4y1m725_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1nQ4y1X7L2_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1QK4y1h7GJ_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1mJ4m1Y7zy_segment_01.mp4
./ubcNbili_data/video_dwpose/BV135411R7af_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1sr4y1n7u1_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Mg411U71D_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1i3411J72N_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1ns4y1C7sK_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1nZ4y1y77w_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1gh411M711_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1LZ42127Gj_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1Ds4y1t7Ab_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1bT4y1H7FH_segment_04_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1B44y157Vq_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1LK421y7kY_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1vr4y1m78d_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1MF411n7cP_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1xm411D7qF_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1s14y1u7GZ_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1sW4y1m755_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1dc411C7KP_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1vJ411x7af_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1ur4y1r7pU_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1Me4y1u7NH_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1PU4y1Y7SN_segment_02.mp4
./ubcNbili_data/video_dwpose/BV14Q4y1J7Ko_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Tk4y1H7n1_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1iW4y1Y7HD_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1mp4y1Z7NJ_segment_13.mp4
./ubcNbili_data/video_dwpose/BV1Au4y1M7b7_segment_04_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1ua4y167kX_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1PC411W7ag_segment_02.mp4
./ubcNbili_data/video_dwpose/BV19A411J7YL_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1s8411v7i6_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1aF4m157ZE_segment_01.mp4
./ubcNbili_data/video_dwpose/BV14A41137wj_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Zu4y137eF_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1CY4y1M7Bj_segment_25.mp4
./ubcNbili_data/video_dwpose/BV1FT4y1x7wx_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1pg411V74C_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1b44y1F7BA_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1894y1P7w8_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1H8411b7ML_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1zo4y1x77S_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1bj411V7zk_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1hP4y117v1_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1UC4y1M72W_segment_03.mp4
./ubcNbili_data/video_dwpose/BV19L4y1n7H1_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1ua411X7aW_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1M24y1d7Qc_segment_03.mp4
./ubcNbili_data/video_dwpose/BV123411Y7SC_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1Zu4m1A7DM_segment_03.mp4
./ubcNbili_data/video_dwpose/BV19A411J7YL_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1LK421y7kY_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1FD4y1w7Pi_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1R3411A7g4_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1zN411u7sa_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1wp4y1d7nH_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1UC4y1M72W_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1ua411X7aW_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1XT4y1K79d_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Ew411g7MB_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1FD4y1w7Pi_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1ip4y1T7iE_segment_03_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1BZ421a7Zq_segment_01_part_2_cut.mp4
./ubcNbili_data/video_dwpose/BV1ur4y1r7pU_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Tt411c7wy_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1Ze4y1D7Es_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1Jg4y1R7Rh_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1GK421k7jh_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Pf4y177j7_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1CY4y1M7Bj_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1JF41117Fz_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1564y1o75r_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1mw411Q76N_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1tG411G7kG_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1YF411v7GN_segment_12.mp4
./ubcNbili_data/video_dwpose/BV1uS4y1N7rW_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1Wv4y147o1_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Pf4y177j7_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1UC4y1M72W_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1cQ4y1p78p_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1qt4y187ZE_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1gW4y1c7f3_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1D24y1P7TT_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1ZZ4y1c7ff_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1sp4y1L7rV_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1DT4y1G7bP_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1V34y1u7DX_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Wp4y1m7AY_segment_01.mp4
./ubcNbili_data/video_dwpose/BV123411Y7SC_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1X8411B7v6_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1vr4y1m78d_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1b54y1M7uu_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1ua4y167kX_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1mx4y1f7eT_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1fo4y1t7Da_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1B44y157Vq_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1sK411e7zk_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1nM4y1p7YP_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Po4y1Q7yB_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1Me4y1u7NH_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_28.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1QS4y1P7Yu_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1eJ4m1W7k4_segment_00_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1cE411j7RL_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1mp4y1Z7NJ_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1Ni4y1B79Q_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1TZ4y1c7Te_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1Gu4y1e72H_segment_20.mp4
./ubcNbili_data/video_dwpose/BV1As4y1t7vr_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1ju4m137Mh_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Ze4y1D7Es_segment_14.mp4
./ubcNbili_data/video_dwpose/BV1ns4y1C7sK_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1Gc41147a4_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1uK411e7b8_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1bT4y1H7FH_segment_03_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1mJ4m1Y7zy_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Qc41167av_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1MH4y1y7uD_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1BG41117sV_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1c2421u7Ra_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1eN411B7LK_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1EK411u7e6_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1wp4y1d7nH_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Au4y1M7b7_segment_03_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1Gu4y1e72H_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1nZ4y1E7CD_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1EK411u7e6_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1bz411e7JE_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Po4y1Q7yB_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1vF4m177jX_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1p84y1c7VC_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Ze4y1D7Es_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1J5411D7Wq_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1nZ4y1y77w_segment_01.mp4
./ubcNbili_data/video_dwpose/BV11x4y177hd_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1tj411j7Ff_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1iW4y1Y7HD_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1iv411q7EL_segment_05.mp4
./ubcNbili_data/video_dwpose/BV13x421273d_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1aU4y1a7ns_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1s14y1u7GZ_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1tY4y1E7hU_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1jp4y1u7uj_segment_00_part_2_cut.mp4
./ubcNbili_data/video_dwpose/BV11e411i7hr_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1Xm411f7mV_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1AN4y1s7h3_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1ED4y157AR_segment_02_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1Lv4y1P7jy_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Nh4y1177f_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1pV4y1m7Am_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1rA4m137wf_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Ew411g7MB_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1mx4y1f7eT_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1CY4y1M7Bj_segment_14.mp4
./ubcNbili_data/video_dwpose/BV1LK421y7kY_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1ot4y1Z715_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1gm4y1x7tg_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1cQ4y1F74b_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1aF4m157ZE_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1q6421u79H_segment_03.mp4
./ubcNbili_data/video_dwpose/BV16F4m1j7EV_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1c2421u7Ra_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1j24y1k7Pj_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Ze4y1D7Es_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Gu4y1e72H_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1LK411Y7Nx_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1EY411g7Yd_segment_23.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1YC4y1r7EH_segment_00.mp4
./ubcNbili_data/video_dwpose/BV125411e7Mq_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1MU4y1j7kN_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Ht421t7u2_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1d34y1c7Vg_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1YF411v7GN_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1aH4y177tp_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1zj411L7v9_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Ff4y1L7R7_segment_12.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_14.mp4
./ubcNbili_data/video_dwpose/BV1ny4y1F7qV_segment_02_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1YF411v7GN_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1y5411o796_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1bj411V7zk_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_37.mp4
./ubcNbili_data/video_dwpose/BV1g94y1A7bg_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1UY4y1J7Up_segment_03_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1Lf4y1G74q_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1jU4y187gq_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1fC4y1j7Hh_segment_00_part_2_cut.mp4
./ubcNbili_data/video_dwpose/BV1nm4y1Q7PU_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1LN411E7ff_segment_12.mp4
./ubcNbili_data/video_dwpose/BV1uZ421U7Eq_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1PS421T7Xe_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1cQ4y1p78p_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1b841117TP_segment_04_part_1_cut.mp4
./ubcNbili_data/video_dwpose/BV1Ht421t7u2_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1qt4y187ZE_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Dm4y1X7JT_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1BG41117sV_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1zQ4y1c77h_segment_01.mp4
./ubcNbili_data/video_dwpose/BV19A411J7YL_segment_13.mp4
./ubcNbili_data/video_dwpose/BV1kD4y1U7gB_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1EK411u7e6_segment_07.mp4
./ubcNbili_data/video_dwpose/BV1qt4y187ZE_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1eH4y177H9_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1R3411A7g4_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Q94y1V7ny_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1K84y1L7UU_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1i64y1w7SF_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1TZ4y1c7Te_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1cE411j7RL_segment_03.mp4
./ubcNbili_data/video_dwpose/BV12j411n768_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Nr421s7mx_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1br4y1F7mr_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Pf4y177j7_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1T54111779_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1vF4m177jX_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1Ff4y1L7R7_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1ub4y1Q7kw_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Ex4y1C7jD_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1qw411K7SF_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1EY411g7Yd_segment_16.mp4
./ubcNbili_data/video_dwpose/BV1sb4y1W748_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1U44y1678R_segment_04.mp4
./ubcNbili_data/video_dwpose/BV11x4y177hd_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1eJ4m1W7k4_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1b44y1F7BA_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Wp4y1m7AY_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Co4y127MF_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1uV4y1x7RU_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1i3411J72N_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Th411w7Dn_segment_00.mp4
./ubcNbili_data/video_dwpose/BV12C411H776_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Cs4y1X7Rg_segment_08.mp4
./ubcNbili_data/video_dwpose/BV19F411v7oz_segment_05.mp4
./ubcNbili_data/video_dwpose/BV11e411i7hr_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1va4y1m7LF_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1Nb411S7bR_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1ur4y1r7pU_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1cQ4y1F74b_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1Gj411y7vz_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1b44y1F7BA_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1Qu4m1c786_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1vQ4y177bt_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1V94y1i7NX_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1FD4y1w7Pi_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1PS421T7Xe_segment_00.mp4
./ubcNbili_data/video_dwpose/BV14V4y1Y78o_segment_02.mp4
./ubcNbili_data/video_dwpose/BV16F4m1j7EV_segment_08.mp4
./ubcNbili_data/video_dwpose/BV1cQ4y1p78p_segment_10.mp4
./ubcNbili_data/video_dwpose/BV1LQ4y1W7x3_segment_06.mp4
./ubcNbili_data/video_dwpose/BV1ZN411J7CN_segment_07.mp4
./ubcNbili_data/video_dwpose/BV19F411v7oz_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1Ff4y1L7R7_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1UC4y1M72W_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1s14y1u7GZ_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Ex4y1C7jD_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1kx421Z7ev_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1X8411B7v6_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1tF411M7i6_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1nM4y1p7YP_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1E24y1M7rt_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Zi4y1B7UZ_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1mx4y1f7eT_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1Gj411y7vz_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1V34y1u7DX_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1sK411e7zk_segment_09.mp4
./ubcNbili_data/video_dwpose/BV1L64y1n7MQ_segment_03.mp4
./ubcNbili_data/video_dwpose/BV1fV411D7Es_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1Gu4y1e72H_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1BZ421a7Zq_segment_00_part_2_cut.mp4
./ubcNbili_data/video_dwpose/BV1ti421d7sn_segment_02.mp4
./ubcNbili_data/video_dwpose/BV14B4y1G7nT_segment_11.mp4
./ubcNbili_data/video_dwpose/BV1YC4y1r7EH_segment_05.mp4
./ubcNbili_data/video_dwpose/BV1eJ4m1W7k4_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1oP41127zM_segment_04.mp4
./ubcNbili_data/video_dwpose/BV14A41137wj_segment_09.mp4
./ubcNbili_data/video_dwpose/BV12d4y1Y7WB_segment_00.mp4
./ubcNbili_data/video_dwpose/BV1YF411z7Mc_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1GK421k7jh_segment_04.mp4
./ubcNbili_data/video_dwpose/BV1gy4y1U7Nr_segment_01.mp4
./ubcNbili_data/video_dwpose/BV1mB4y1G7dX_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1pV4y1m7Am_segment_02.mp4
./ubcNbili_data/video_dwpose/BV1HJ4m1471Q_segment_03.mp4
最低0.47元/天 解锁文章
【arxiv 2024.02】HumanSplat: Generalizable Single-Image Human Gaussian Splatting with Structure Priors
zik的博客
07-04 1004
【Paper】【Project】尽管高保真人体重建技术最近取得了进展，但对密集捕获图像或耗时的每个实例优化的要求极大地阻碍了它们在更广泛场景中的应用。为了解决这些问题，我们提出了 HumanSplat，它可以以通用的方式从单个输入图像中预测任何人类的 3D 高斯 Splatting 属性。特别是，HumanSplat 包含一个 2D 多视图扩散模型和一个具有人体结构先验的潜在重建变压器，能够在统一框架内巧妙地集成几何先验和语义特征。
【AIGC】Animate Anyone阿里全民舞王背后的科技，基于图片高可控动画生成
qq_39172059的博客
03-08 2566
然而，图像到视频领域仍然存在挑战，特别是在角色动画中，暂时保持与角色详细信息的一致性仍然是一个艰巨的问题。通过这种技术，可以在不需要复杂动画技能和昂贵的软件情况下，创造出流畅的动画视频，Animate Anyone提供了一种由图像到视频合成中角色动画创建的新方法和新思路，具有未来扩展到各种图像到视频应用的潜力。从官网提供的示例中，我们可以看到，不管是图片生成视频、时尚视频合成还是人类舞蹈，Animate Anyone生成的动画视频在人物的一致性和画面的稳定性上，都表现极佳，视频质量很高，也非常流畅！
【AnimateAnyone】定制化角色动画工具，让图片里的人物动起来！
YuZhou的博客
03-12 3615
【AnimateAnyone】定制化角色动画工具，让图片里的人物动起来！
Animate Anyone 教程
gitblog_00167的博客
08-09 797
Animate Anyone 教程 项目地址:https://gitcode.com/gh_mirrors/an/AnimateAnyone 1. 目录结构及介绍 在AnimateAnyone项目中，目录结构大致如下： AnimateAnyone/ │ ├── data/ # 存放数据集和中间结果 │ └── samples/ # 示例图像或视频 │ ├── model/...
AIGC之Image2Video（一）| Animate Anyone：从静态图像生成动态视频，可将任意图像角色动画化
wshzd的博客
12-06 5535
在训练过程中，使用了两个阶段的训练，在第一个训练阶段，采样单个视频帧，并调整大小和中心裁剪到768×768的分辨率，batch size设置为64，训练30000步；在之前的研究中，重点关注图像驱动生成，大多数方法都采用CLIP图像编码器作为交叉注意中的文本编码器，然而，这种设计未能解决与细节一致性相关的问题。虽然ReferenceNet引入了与去噪UNet相当数量的参数，但在基于扩散的视频生成中，所有视频帧都要进行多次去噪，而ReferenceNet在整个过程中只需要提取一次特征。
【AIGC】AnimateAnyone：AI赋予静态照片生命力的魔法
在路上的专栏
06-30 582
在人工智能技术的不断进步中，AnimateAnyone项目以其创新性和易用性脱颖而出，成为GitHub上备受瞩目的AI项目之一。通过丰富的图表和实例，本文将展示AnimateAnyone如何将创意变为现实，并为读者提供深入了解这一前沿技术的机会。AnimateAnyone以其创新的技术和用户友好的设计，为静态照片赋予了新的生命。随着AI技术的不断发展，我们期待AnimateAnyone在未来能够实现更多的突破，为世界带来更多惊喜。通过深度学习算法，该项目可以预测并生成连续的动态帧，从而创建平滑的动画效果。
政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署LivePortrait ：通过缝合和重定向控制实现高效的肖像动画制作
政安晨——致力于AI人工智能数字互动领域
07-26 2235
本文目标：在Ubuntu系统上部署使用LivePortrait ，通过缝合和重定向控制实现高效的肖像动画制作的开源框架，感谢快手团队对开源世界的贡献。
AnimateAnyone 项目使用教程
gitblog_00843的博客
08-26 510
AnimateAnyone 项目使用教程 AnimateAnyoneUnofficial Implementation of Animate Anyone by Novita AI项目地址:https://gitcode.com/gh_mirrors/ani/AnimateAnyone 1. 项目的目录结构及介绍 AnimateAnyone/ ├── docs/ │ ├── LICENSE ...
阿里Animate Anyone：任何静态图像都能动起来，让C罗、梅西、内马尔一起跳科目三！
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
01-25 2528
2023年11月以来，阿里发布了Animate Anyone，只需一张人物照片，结合骨骼动画，就能生成人体动画视频。这个让图片动起来的创新工具在Twitter和YouTube上相关视频的播放量都突破了1亿次，而且在GitHub上的关注度也飙升，超过了1万Star。
Animate Anyone本地部署教程：AI动画生成技术的革命性突破
最新发布
SJJS_1的博客
03-03 1020
Animate Anyone是一款专门用于将静态图像转换为角色视频的创新型软件工具。它由阿里巴巴旗下的阿里通义实验室打造，利用先进扩散模型、专为角色动画定制全新框架，为众多用户，包括设计师、动画师、内容创作者等，提供了一种便捷且高效的方式来生成生动的角色动画视频，在多个领域均有涉足，例如娱乐、教育、营销等。
Animate Anyone 2：AI 角色动画生成的全新突破
不忘初心
02-19 1904
近年来，AI 角色动画从 GAN 发展到扩散模型（Diffusion Model），质量与一致性不断提升。三大技术突破，让 AI 角色动画更加接近真人表演。本文解析其核心升级，并探讨它如何推动 AI 角色动画的发展。
AnimateAnyone大模型数据训练准备及训练
weixin_41973200的博客
08-14 1276
AnimateAnyone是由阿里提出的一项技术，可以实现通过动作视频的驱动，能够令目标图片按照动作视频一样“动起来”。在这里介绍下项目上如何利用各个功能组件，实现这个模型的训练工作，以及发生的问题。
阿里推出 Animate Anyone 2：更复杂的角色动画技术
weixin_51674085的博客
02-13 431
不过，Animate Anyone 1 至今都没有开源，2 代应该也不会开源，看个乐吧。此次更新使其能够生成动作更复杂、幅度更大的视频，并能够将角色与环境进行融合。是阿里推出的一种角色动画技术。
【bug记录】解决在使用onnxruntime时产生的警告:Some nodes were not assigned to the preferred execution providers
小明的博客
11-04 1582
【代码】【bug记录】解决在使用onnxruntime时产生的警告:Some nodes were not assigned to the preferred execution providers。
ONNX小白入门(1)：sentence-transformer 提取embedding模型转onnx
mantoureganmian的专栏
07-21 3959
onnx转换的时候，tokenizer部分是无法被onnx的，只有你backone模型才能进行转onnx，不要问我为啥，因为我也不知道。很多时候，我也不知道这段代码啥意思，但是作为应用人员，不要在意这段代码到底干了啥，除非必要。这里不仅展示了如何转onnx，还有你部署时候，所需要的所有的文件，都打包到一个文件夹中了。本文适合小白入门，以自己训练的句子embedding模型为例，像大家展示了如何手动将。误差数值很小，结果OK。的模型转为onnx。
ElasticSearch启动过程错误：org.elasticsearch.transport.BindTransportException Failed to bind to
web18334137065的博客
04-18 4064
[2018-11-20T06:38:34,516][ERROR][o.e.b.Bootstrap ] [es-node] Exception org.elasticsearch.transport.BindTransportException: Failed to bind to [9300-9400] at org.elasticsearch.transport.TcpTransport.bindToPort(TcpTransport.java:771) ~[elasticsearch
推荐开源项目：Animate Anyone —— 让动画创作触手可及
gitblog_00443的博客
08-28 649
推荐开源项目：Animate Anyone —— 让动画创作触手可及 项目地址:https://gitcode.com/gh_mirrors/ani/AnimateAnyone 在数字时代，创意与科技的融合不断推动艺术表达的边界。今天，我们要向大家隆重推荐一个令人惊艳的开源项目——Animate Anyone，这是一个让人物动画创作变得前所未有的简单与直观的工具。借助Animate Anyone...
动态渲染新纪元：AnimateAnyone - 让每个人都能动起来！
gitblog_00040的博客
03-19 571
动态渲染新纪元：AnimateAnyone - 让每个人都能动起来！ AnimateAnyone这一项目指的是用于角色动画的一种持续一致且可精确控制的图像转视频合成方法。项目地址:https://gitcode.com/gh_mirrors/an/AnimateAnyone 项目简介 在数字世界中，让静态的人物活灵活现一直是一项挑战。而开源项目 正是为了解决这个问题而生。它采用先进的机器学习技...
Animate anyone:consistent and controllable image-to-video synthesis for character animation
liguandong
12-12 586
所有的视频帧都会进行多次去噪，但是ReferenceNet只需要在整个过程中提取一次特征，参考网络，主要参考输入的图像。由于去噪unet需要进行微调，因此不引入额外的控制网络，使用了一个轻量级的位姿引导器，该位姿引导器利用四个卷积层（kernel：4x4，stride：2x2，16/32/64/128）将位姿图像与噪声潜变量对齐，分辨率与噪声潜变量相同，随后，在输入去噪unet之前，将处理过的位姿图像添加到噪声潜变量中，利用高斯权重进行初始化，并在最后的投影层中使用零卷积。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

军哥说AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值