AIGC？实现MV视频制作的经验技巧（Stable Diffusion）

前言

1、先看成片

我们基于AIGC技术制作了《山海入梦来》的MV视频片段，为了尊重原作者的音乐版权，MV只加载了音乐的部分片段，且本文以学习交流为目的，不以盈利为目的。侵删。

2、技术选型

技术采用Stable Diffusion的Deforum实现。

3、分镜脚本写作

MV视频制作与拍摄视频的步骤是类似的，需要制作者根据剧本的特点，在脑海中先完成对整部影片的规划与构思，然后形成分镜脚本。每个分镜脚本中需要考虑场景、运镜技巧（e.g. 推拉摇移跟甩），并尽量形成文字版的分镜脚本。

如下所示，是我们写的部分分镜脚本：

4、分镜参数的制作

在完成分镜脚本的写作后，需要根据每一个分镜的内容，去编写每个分镜的参数，包括素材、运镜方式、运镜参数、运镜模式、帧率、帧数、Prompt、其他参数等。这些参数在设定好之后，就可以控制Stable Diffusion去生成满足分镜脚本的各个分镜视频片段了。

比如，下面是我们制作的部分分镜参数：

5、初始图片生成

在有了分镜参数后，我们需要先准备原始画面素材，即视频分镜中基础的画面图像。这些初始图像同样基于Stable Diffusion生成，但需要注意的是，画面素材的生成要与视频的宽高大小等一致。画面素材的生成可能并不是一次就能成功的，很可能你满意的素材但是细节上出现问题，因此可能需要用到重绘、图生图、ControlNet等技术去进一步控制生成的质量。

比如，下图是我们生成的其中一个画面基础素材。

6、视频分片的生成

在有了初始画面素材、分镜脚本、分镜参数之后，接下来我们就可以交给Deforum来跑图和跑视频了。由于本机GPU的不足与限制，我们采用的是云跑图的方式进行，在Linux系统中搭建的Stable Diffusion环境。

在视频分片生成的阶段，有2点尤其值得注意：

6.1 ControlNet的运用

尤其在某些有人像的画面中，视频跑着跑着就会出现人像不一致的情况，这种情况可以在视频生成的控制中动用ControlNet解决，有时可能需要动用多个ControlNet联合控制实现更佳的视频生成效果。

6.2 运镜效果的运用

在视频分片生成中，要考虑场景的特性，并结合场景的特性积极增加运镜效果，避免效果过于呆板。

7、视频最终剪辑

在完成各视频分片的生成之后，就需要把各视频分片、音乐素材、字幕等整合在一起形成成片，这一步一般通过视频剪辑技术实现。

8、写在最后

目前AIGC技术在文生视频领域的应用虽然还存在很多问题，但也越来越成熟，相信未来会越变越好。如果你喜欢我们的文章，欢迎关注我们的公众号。

只不过，文生视频是真的耗费GPU！

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

👉AI绘画必备工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉12000+AI关键词大合集👈

这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】