使用AI制作视频的一些感受

浦饭幽助真人灵丸

  大家好，我是阿赵。
  最近我开始用各种AI软件来制作一些视频，比如上次介绍的3D打印的黑龙波飞影的视频，就用了AI生成语音，还有一些换脸的视频。然后再比如上面这个浦饭幽助从漫画变成真人，然后再做出发射灵丸的动作的小视频，都是通过各种AI手段制作出来的。
  阿赵我接触AI制图和制作视频的时间并不长，不过也感受到了AI的一些强大和有趣的地方。我这里说的AI，不是那种能和你交谈和回答问题的AI，而是制作各种美术资源的AI。那么这些AI能做些什么东西呢？
  最简单的，就是文生图或者图生图。文生图是你在AI上面输入一段描述文字，AI就可以根据你的要求生成出一张图片。而图生图就是你给AI上传一张图片，然后再配合一段描述文字，AI就会生成一张图片。

  复杂一点的，也有比较实用的功能，比如把一张图片扩展补充，给一个房间里面的家具替换，给图片去背景，给视频补帧，从2D图片直接生成3D模型，根据音频生成适配嘴型的视频之类的。

  花俏一点的，就是我们经常看到的恶搞视频，比如换脸、唐僧和白骨精搂抱、修改别人表情之类的。
  AI能做到这么多东西，那是不是说，AI的门槛很低，随便一个人买台好一点的电脑，然后下载个AI整合软件，就能轻轻松松的制作出想要的效果呢？
  比如上面这个幽助的模型，实际上制作的过程并不是真的上传一张图片，然后输入几个关键字就能生成的。我是先用ControlNet提取线框

然后通过线框和写实大模型生成了几十次图片

  找出了一张较为满意的，再局部重绘修改细节，才得到一张真人浦饭幽助的图片。然后我亲自录制了自己发射灵丸的动作，通过动作生成模型匹配给图片中的人物，不过生成出来的视频脸部或者手部会出现多处的变形，然后再通过多次的换脸和细节调整，最后输入到AE，做后期的制作，才能得到一个稍微能看的视频。
  再比如，如果我们想要通过AI生成某种特定风格的一个系列的图片，用通用的万能模型，是不行的。我们可能需要在网上各种的寻找别人训练好的模型，如果没有合适的，还需要自己去训练模型。这需要自己去网上手机大量的素材，甚至要自己绘制大量的固定风格的素材，然后通过长时间的训练才能达到目的。
  所以，AI是很强大，但可能并没有很多人想象中的那么简单和智能。如果只是想做点搞怪视频，现在的确有很多已经现成的收费平台可以给你去玩玩。但如果真的想把AI变成一种生产力，对AI的控制和投入也是需要不少人力物力支撑的。