把你编辑进大片--虚拟拍摄工作流

背景

这篇文章是翻译的立陶宛兄弟的一个制作工作流程。这块只是原本的翻译了他用AI工作制作的工作流程，已经很清晰简洁。后续有需要尝试搭建整条完整工作流，准备好素材输入，一步生成即可。
先看看效果（csdn不支持视频，可以到知乎看）：
https://zhuanlan.zhihu.com/p/700685802

实现

场景图生成

用Ai文本生成图模型生成一张场景图，随便选一个你觉得不错的模型来生成就行（MJ、SDXL、Pony、DIT…)
文本prompt： 公交车站，巨型龙猫和一个打着伞的家伙并排站着，吉卜力风格，白天

场景图编辑修改

这一步的目的是对AI生成的场景图做简单加工让它更适合做后续故事的交代。这里面的思路是这样的：我们需要一个舞台来呈现后续的故事，后面的故事包括角色、道具、动作、故事线，所以场景其实就是为后续故事交代的舞台。舞台就需要丰富且简单，不要为后面主角的喧宾夺主、光线、造境要适合后续故事的呈现起到渲染气氛带你入戏的作用。
以这个故事为例，需要做的处理：
1.去掉对后续故事有干扰的人物、模糊化背景
2.往左扩展场景，因为后面有较大动线和转场

生成转场关键帧

舞台剧也好、电影也好、动画也好，并非每一帧画面都是重要的，很多画面其实是为了让你感觉过渡自然，故事线流转自然而存在的。换句话说很多人的存在其实就是为这个社会运转“充数”的，去掉这些充数的帧理论讲对故事中心线的交代不会有太大的影响；但是一定会让你觉得不舒服不适应。社会也是如此去掉我们这些平凡碌碌无为之辈对社会走向估计不会太大影响，但是这个位置少了我们社会就不生动无趣了。
这些对故事走向起影响作用的就是关键帧或者转场帧。以这个故事为例：
1.用 MJ 的 Vary（区域）方法实现公交车转场帧实现（用sd的mask+inpaint可以实现一样效果）

2.用stylar_ai实现雨过天晴效果实现（sd模型用controlnet、ic_light+文本prompt控制可以实现一样效果）

角色动作实现

一部舞台剧或者一个电影，角色的动作是非常重要的内容，肢体语言决定效果成败。对于动作实现可以有很多办法：
1.动捕
2.motion Gpt生成
3.游戏里常用的motion match
有了动作就是如何把这些动作赋予给主角，这又涉及很多技术：
1.游戏常用的骨骼重定向+动捕驱动
2.新出现的control net +ipadaptor实现
3.3d difusion+ip特征重建
4.animatediff+ip
这个案例是用了动捕+controlnet 视频来实现角色动作（因为动作幅度不大，时长也不长所以效果还可以）。
https://zhuanlan.zhihu.com/p/700685802
controlnet对视频风格转换
https://zhuanlan.zhihu.com/p/700685802

视频合成

素材整理

经过上面素材的准备，我们把后面需要的素材放在一起如下：
1.背景1
2.背景2（可选）
3. 巴士
4.角色动捕转换风格后数据（如果你想把你加进大片，你这就是你的动捕数据了）。

视频合成

打开 CapCut 或任何其他视频编辑软件
1.先放置背景1
2. 在顶部添加您的动画版本，调整大小，
3. 并删除绿屏
4. 将总线放置在画布之外（右侧）
5. 使用位置关键帧将总线从右向左移动
6. https://zhuanlan.zhihu.com/p/700685802

视频后处理

精修视频

上面视频效果已经基本完成，但是有些细节做的不够，所以可以做些后处理：
1.添加绿屏雨效果（Capcut在去除雨视频中的绿屏方面确实很糟糕，所以尝试其他工具）。
2. 在公交车经过后剪切背景层并添加第二个背景层。
3.在图层变化的地方，添加绿屏闪电效果以创建非常酷的过渡（您可以使用此视频（不要忘记降低白屏上的不透明度）
https://zhuanlan.zhihu.com/p/700685802

添加音效

1. 下雨和打雷 2. 公交车经过 3.鸟鸣声 4.低保真音乐
   

思考

如何把上面的工作流成立到一个ai编排的工作流下呢
中间哪些模块是需要和用户交互，如何交互更使用体感会更好
如果要做成批量生成工具要如何设计