Stable Diffusion新玩法火了!给几个词就能生成动图,连动图人物的表情和动作都能随意控制

136 篇文章 2 订阅

单说大模型 AI 的发展对人们想象力释放的助力,基于 Stable Diffusion 模型的方法首当其冲。透过文本描述到图像生成技术,大模型为我们的想象力打开了一个恢弘的梦幻世界。透过点滴文字,就有可能重现禁锢在我们脑海中无法释放的光怪陆离。
在这里插入图片描述

而最近,Stable Diffusion 持续进化,打个响指加一个框架使用 AnimateDiff,文本图像生成便可以由静到动,一次性的将个性化文本生成的图像进行动态化,实现一键生成 GIF 动图!首先,来展示一下 AnimateDiff 的动图生成效果,当我们希望生成展示一个在客厅高兴的穿着自己新盔甲的女孩的图像时,捕捉关键词 cybergirl,smiling,armor,living room 等等,稍作修饰输入如下 Prompt:

long highlighted hair, cybergirl, futuristic silver armor suit, confident stance, high-resolution, living room, smiling, head tilted.

即可以得到一段自然逼真的动态图像:

图片

类似的,使用 Prompt:

1 girl, anime, long pink hair, necklace, earrings, masterpiece, highly detailed, high quality, 8k

可以生成一段更加动漫风格的 GIF:

图片

利用不同风格的模型,这些生成的动图可以是充满动漫风的卡通形象:

图片

也可以是更加逼真的人物造型:

图片

可以是动漫电影的背景片段:

图片

也可以是水墨风的艺术画卷

图片

而更有意思的,是 AnimateDiff 支持与 ControlNet 结合使用,譬如我们希望让前文生成的盔甲女孩模仿下图女孩的动作:

图片

只需要非常简单的配置启用 ControlNet,将上图作为控制图就可以生成如下的图像,上文生成出的盔甲女孩完美的模仿了上图中女孩的动作,为自定义的动图生成添足了想象力!

图片

同时,通过使用 motion LoRA 方法,利用 Prompt 我们还可以控制“摄像机”的动作,譬如我们希望摄像机向左平移,即背景向右移动,可以在 Prompt 中添加 <lora:v2_lora_PanLeft:0.75 > 表示使用0.75的权重让摄像机向左平移,生成的效果如下图:

图片

此外,AnimateDiff 还支持图像到动图的生成,我们可以定义生成动图的初始图像与结束图像,从而使用 AnimateDiff 补全运动过程。从训练方式上来看,AnimateDiff 也并不复杂,在用户个性化或自定义的文本-图像生成模型(T2I)的基础上,AnimateDiff 使用短视频的剪辑数据完成了一个运动建模模块的训练,类似一个插件,AnimateDiff 通过在 T2I 模型使用基础上嵌入这个运动建模模块,从而使得图像成功“由静转动”。

图片

毋庸置疑,单一静态的图像表达能力存在上限,而 AnimateDiff 点石成金般赋予图像“动起来”的能力,极大的扩展了我们简单的输入文本的表达能力。从抽象的语言文字到具象的图片再到细节更加丰富的动图(视频),Stable Diffusion 逐步进化高速发展。走到 AnimateDiff,恰如国外的一则新闻所述:很有可能,AnimateDiff 会重新定义整个动画行业!

图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 14
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值