生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作_生成式ai大模型为基础开展的应用实践案例-CSDN博客

本文链接：https://blog.csdn.net/u012970976/article/details/142654576

背景介绍

从 2022 年以来生成式 AI 发展迅猛，特别是在文生图领域，在扩散模型为主，其他模型的加持下，新的文生图，图生图技术层出不穷。在媒体与娱乐领域已经被广泛应用，主要的场景有：1. 分镜头剧本插图；2. 漫画创作；3. 概念图生成。并随着技术的进步，形成比较完善的工具链。

尽管扩散模型和其应用在生成图片方面的能力出众，但是视频生成领域发展依然是滞后的。其原因主要有：没有高质量的训练集；没有很好描述视频的方式；生成式视频模型的训练需要极高的算力。所以现在主流的利用扩散模型生成视频的方式是: 利用模版视频，拆解为视频帧图片，利用各种插件逐帧按照提示词和图片特征进行风格化，最后组合成风格化视频。

在本篇文章中，我们基于生成式 AI 行业解决方案指南，针对泛娱乐行业的风格化视频生成，介绍生成式 AI 的使用和参数配置，以及配合传统工具，以协助内容创作，达到一定的创意效果。

生成式 AI 在泛娱乐行业中视频创作

在泛娱乐行业，短视频是最流行的一种内容表达形式，其特点是制作成本较低，传播率高。传统的生成短视频的方式既有 UGC 模式，也有 PGC 模式，虽然他们的制作周期和制作成本远低于传统媒体，但是还是脱离不了“策划-剧本-台词-选角-排练-正式演出-录制-校验-剪辑-后期-审核-发布”这些基本的步骤。综合来说，一个 5 分钟左右的短视频制作平均时长大概 2-3 天左右。生成式 AI 的出现可以大大提高制作效率，缩短制作周期，甚至可以简化制作步骤。现在有生成风格化图片和生成风格化视频的生成方式，根据一些现有的图片和视频，或者初期拍摄的视频直接进入后期步骤。进行风格化是现在短视频生成的一种尝试，虽然现在这类视频依然有闪烁跳跃等问题，通过社区的不断进步，效果正越来越好。当然这类视频本身因为自由度较高，创意属性强，本身就具有较强的话题性和传播度。

主流的风格化视频的生产的方法是利用连续风格化图片作为序列帧串联起来的视频。包括：1）通过原视频提取每一帧，逐帧通过提示词进行图生图，最后将图片重新组装起来生成风格化视频；2）生成数张创意图片，作为关键帧，相似图片作为过渡帧，组装成风格化视频。这两种风格化视频，都可以通过 Stable Diffusion WebUI 的插件来实现。但是这两种风格化视频生产方式依然具有一定需要解决的问题，各自分别是：1）模版视频拍摄依然需要一定投入，包括编排，表演，以及原始视频的版权问题等；2 ）风格化视频的主题难以定义。

本文给出了两种风格化视频的组合生成方式，可以充分利用目前风格化视频的插件，又可以部分解决风格化视频生产的上述问题：

1. 利用 3D 模型的动态画面作为蓝本，生成风格化视频的方法

2. 利用短暂的普通视频作为起点（或者中间节点）生成具有一定主题的风格化视频的方法