从AI绘画到AI动画

最新推荐文章于 2024-09-13 22:20:56 发布

认真写程序的强哥

最新推荐文章于 2024-09-13 22:20:56 发布

阅读量830

点赞数 28

文章标签：人工智能 AI作画 stable diffusion midjourney AIGC

本文链接：https://blog.csdn.net/qq_41314882/article/details/137169124

版权

在这里插入图片描述

人工智能是未来发展的主要路线，AI绘画是人工智能应用比较成熟的版块。既然AI绘画能做到如此优秀，那拿AI画动画又会如何呢？本文将探讨一下AI制作视频动画的点点滴滴。

01 AI制作视频动画的两种方式

人类是如何让图片动起来的呢？

人们发现当人眼在观察连续变化的图像序列时会产生一种错觉，使得我们感知到观察目标在运动。这种错觉叫做动态视觉。人眼的视觉系统具有一定的延迟和持续时间，导致先前观察到的图像信息在短暂时间内仍然保留在我们的视觉记忆中。当连续的静态图像以足够快的速度连续播放时，我们的大脑将这些图像连接在一起，并认为它们形成了一个连续的动画或运动。

让AI以某种约束生成形象一致动作缓慢变化的人物图片，将这些图片以一定速度逐个播放。原理非常简单，在电影中，连续的图像以每秒24帧或更高的速度播放。因为视觉暂留的效应，观众能够感知到这些静态图像的流畅运动，创造出动态的视觉体验。类似地，在动画制作中，通过快速播放一系列经过微小变化的图像，创造出动画角色和背景的运动。

那么AI做动画的只有最后一个难点了。如何生成微小变化的图像，要知道现如今的AI绘画随机性非常高，即使用上了昨天介绍的ControlNet插件也无法保证AI绘画的一致性。这就引出了两套方案。一个是AI转绘，另一个是AI生成。

02 AI转绘

AI转绘实际上就是将视频的每一帧截取出来，喂给AI，让AI用相同的风格关键字通过AI绘画重新画一遍。将新生成的图像再按照之前拆分的顺序重新合成一个视频。

在这个方法下有两个比较有代表性的插件。

mov2mov 插件
ebsynth插件

局限性：目前的局限性主要有两点：1.细节丢失严重，2.容易出现闪烁

细节丢失严重是因为要确保前后两帧的图片差异性，为了保障视频的流畅度那么就会丢失细节上的约束，比如为了更加流畅使用厚涂等细节较少的画风。

这种方式的优点在于对算法算力的依赖较少，可以定义人物动作，视频的走向可以人为控制，可以用拍好的视频素材绘制。

03 AI视频生成

AI视频直接生成，其实是AI转绘的升级版。通过收集公开视频，通过拆分视频成不连续数据集，学习关联视频描述，生成模型基础描述。只要视频拆分地足够小，比如1-5帧一个视频，那么其画面变化也足够小，可以与图片数据集做对比，生成关键字。从而完成视频到文字的转译。当反向操作提供文字集时便可生成对应的视频。

这种方式代表作有：Stable video Diffusion 和 OpenAI的sora

当然我这里只是简单介绍，实际上的算法比我说地要复杂。

04 小结

今天简单介绍了一下AI绘画是如何生成视频的。明天可以介绍一下mov2mov这款国人制作的插件。

硬核：Stable Diffusion 的 CLIP是干嘛的？

2024-03-26

硬核：关于Stable Diffusion 模型

2024-03-25

硬核：Stable Diffusion 采样方法选择

2024-03-23

[

硬核：Stable Diffusion 工作原理

2024-03-22

AI绘画SD整合包、各种模型插件、提示词、GPT人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。