Stable Diffusion｜AE2SD 镜头控制制作AI动画

于 2024-08-08 11:06:37 发布
阅读量357 收藏 13
点赞数 9
分类专栏： SD应用教程 AI绘画 文章标签： stable diffusion 人工智能 AI作画 AI绘画 AI绘画入门 AI动画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/141021427
版权

今天要分享的是一个用AE控制Deforum镜头的教程。

Deforum是一款基于Stable Diffusion的动画生成工具，可以根据文本描述或参考视频生成图像序列帧，并将这些序列帧合成视频。与AnimateDiff不同，Deforum会产生一些闪烁效果，而AnimateDiff则不会。

随着越来越多公司利用AI动画制作宣传广告视频，那么今天就来看看如何利用Deforum和AE来制作动画视频。

在这里插入图片描述

1 插件以及脚本安装

在开始之前，需要先下载安装一个**“AE**”脚本“Motion Bro 4”然后还需要下载一个“AE2SD”的预设，然后SD需要安装“Deforum”的插件。

AE脚本安装

  1. 首先需要下载“Motion Bro 4”脚本，可以去官网直接下载，可以选择在“Creative Cloud”安装也可以选择“Manual installation”手动安装。

脚本链接：https://motionbro.com/plugin/

图片

  1. 选择“Creative Cloud”安装的直接安装就可以，选择手动安装的，下载完脚本之后，将脚本放到“adobe-CEP-extensions”文件夹里面就可以。

Windows放入：Program Files (x86) > Common Files > Adobe > CEP > extensions

MacOS放入：Library > Application Support > Adobe > CEP > extensions

图片

  1. 安装好脚本之后，还需要下载一个“AE2SD”的预设。

预设下载链接：https://motionbro.com/products/ae2sd-export-after-effects-camera-data-to-deforum-stable-diffusion/

（网络不太稳定的小伙伴文末会提供预设下载）
图片

直接点击“GET IY NOW”下载即可

  1. 安装好脚本然后下载好预设之后，打开“AE”，点击顶部的“窗口”-“扩展”就可以看到“Motion Bro 4”的脚本来，点击打开即可。

（对了，脚本安装之前记得在“AE”-“首选项”-“脚本和表达式”里面勾选第一个“允许脚本写入文件和访问网络”）
图片

  1. 打开“Motion Bro 4”脚本，将“AE2SD”的预设拖到“Motion Bro 4”脚本里面就可以啦。

图片

好啦，AE的脚本到这里就安装完啦，接下来需要在Stable Diffusion中安装“Deforum”插件。

Deforum插件安装

“Deforum”插件跟其他的SD插件一样，可以在“扩展”-“可下载”-输入关键词“Deforum”即可直接安装，也可以通过Github链接安装或者直接去“Github”下载安装包直接安装。

插件链接：https://github.com/deforum-art/sd-webui-deforum

（网络不太稳定的小伙伴在文末会提供插件下载）
图片
“Deforum”插件安装完成之后，前期所需要的插件以及脚本就都安装完成啦，
如果使用“Deforum”有报错的小伙伴，可以在“sd-webui\models\Deforum”看一下有没有“AdaBins_nyu.pt”、“dpt_large-midas-2f21e586.pt”这俩模型，如果没有可以在文末下载，然后放到“models\Deforum”就可以了。

2 AE设置
安装完以上的插件以及脚本之后，就可以开始设置AE啦。

  1. 打开“AE”，创建一个新合成，这里的“尺寸”和“帧速率”需要和Deforum插件里面的“高宽”和“帧率”保持一致，然后再设置一下视频时长就可以了。
    图片

  2. 点击顶部的“窗口”-“扩展”打开“Motion Bro 4”。
    图片

  3. 这里要创建“2D”的就点击“Add 2D Scene”，要创建“3D”就点击“Add 3D Scene”，我这里要创建的是3D，我就点3D的。创建完之后，它就会自动给我们创建几个图层。

图片

  1. 镜头控制是在第一个“图层”的“变换”里面控制，主要需要调的是“X、Y、Z 位置”和“X、Y、Z 轴旋转”。

图片

  1. 这里就可以开始打关键帧啦，这里有个点，就是每当中间的“网格图”移出画板时，都需要在“Motion Bro 4”里面添加一个“参考对象”。

图片

图片

比如：我在“第0帧”的时候打一个关键帧，然后在“2S”再打一个关键帧，然后参数改为“600”，让中间的网格图，移出画板，那么这个时候就需要在“2S”处，增加一个“参考对象”（打开“Motion Bro 4”点击添加3D下方的“参考对象”即可添加）
图片
Tips：参考对象可以理解为提示词的画面，“Deforum”会根据你指定的帧数生成相应的画面。例如，在0帧时使用一个提示词，“Deforum”会生成一个画面；而在第90帧时使用另一个提示词，Deforum则会生成另一个画面，而“参考对象”就是用来控制提示词画面的。
图片
6. 打完所有的关键帧后，可以给关键帧增加一个“缓动”效果，然后在调整一下曲线，让画面动的更自然一些，还可以打开“Motion Bro 4”，给画面增加一些“抖动”效果。
图片
图片
好，设置好以上的参数之后就可以打开Stable Diffusion设置“Deforum”插件啦。

2 SD Deforum设置

AE设置完成之后，接下来需要打开Stable Diffusion设置“Deforum”插件。

  1. 打开“Stable Diffusion”，在顶部菜单栏点击“Deforum”然后在“运行”中主要是设置“宽高”、“采样方法”、“迭代步数”和“随机种子”，这些参数都根据自己的需求设置即可。
    图片
  2. 接下来比较关键的就是“关键帧”，在“动画模式”中可以根据刚刚在AE中的设置选择“2D”或者“3D”，然后“边界处理模式”选择“覆盖”，“最大帧数”决定了最后视频的时长，这个可以根据刚刚在AE中设置的每秒帧数视频时长获取。比如我设置的每秒30帧，然后视频时长是9秒，那么就是309=270（最大帧数）。
    图片
  3. 设置完以上的参数之后，在“关键帧”滑到下方“运动”在这里就可以设置镜头。打开“AE”在“Motion Bro 4”中点击“Copy Data”-点击对应的“3D”或者“2D”。
    图片
  4. 然后将“Translation X、Y、Z”和“Rotation 3D X、Y、Z”参数复制粘贴到运动参数里面即可。
    【“Translation X、Y、Z”对应的是（平移 X、Y、Z），然后“Rotation 3D X、Y、Z”对应的是（3D 翻转 X、Y、Z）】
    图片
    图片
  5. 设置好“关键帧”参数之后，再点击“提示词”，提示词这里前面的数字代表着帧数，后面的就可以输入正向提示词和方向提示词，正向提示词正常写就可以，反向提示词需要输入“- -neg”来写。
    图片
    这里提示词的帧数不知道该怎么设置的，也可以打开“AE”在“Motion Bro 4”里面点击“Other”-然后再点击“Prompts by Markers”，复制粘贴到“Deforum”插件里面然后改一下后面的提示词即可。
    图片
  6. 设置完“提示词”之后，点击“输出”，这里只需要设置一下“帧率”就可以，其他的可以保持默认，帧率就根据AE里面的每秒帧率设置就可以，比如在AE设置的是每秒30帧，那么这里改为30即可。
    图片
  7. 设置完以上参数之后点击“生成”即可，大概需要等待几分钟的时间。

在这里插入图片描述
4 最后

以上就是用AE和Deforum来制作动画视频的介绍，刚开始玩“Deforum“的时候可能会生成一些很奇怪的东西，但只要不断尝试和摸索，就能狗逐渐的生成令人满意的动画视频。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

进击的码农！
关注
  • 9
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI 绘画 | Stable Diffusion 视频生成重绘
洛阳泰山的博客
12-25 3049
本篇文章教会你如何使用Stable Diffusion WEB UI,实现视频的人物，或是动物重绘，可以更换人物或者动物，也可以有真实变为二次元。原视频和Ai视频画面合并。
Stable Diffusion | 五个电商专用LoRA，这不比春节骡马假日香？！
qq_41314882的博客
04-24 938
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion复现——基于 Amazon SageMaker 搭建文本生成图像模型
热门推荐
白洞，白色的明天在等着我们
04-06 3万+
众所周知，Stable Diffusion扩散模型的训练和推理非常消耗显卡资源，我之前也是因为资源原因一直没有复现成功。 而最近我在网上搜索发现，亚马逊云科技最近推出了一个【云上探索实验室】刚好有复现Stable Diffusion的活动，其使用亚马逊AWS提供的Amazon SageMaker机器学习平台，为快速构建、训练和部署机器学习模型提供了许多便利的工具和服务，我也是深入体验了一番。
天才程序员周弈帆 | Stable Diffusion 解读（二）：论文精读
csdn_xmj的博客
06-10 1620
简单来说，Stable Diffusion是一个两阶段的图像生成模型，它先用一个AE压缩图像，再在压缩图像所在的隐空间上用DDPM生成图像。在这篇文章中，我们来精读Stable Diffusion的论文：High-Resolution Image Synthesis with Latent Diffusion Models。
InsCode Stable Diffusion使用教程【InsCode Stable Diffusion美图活动一期】
一名机电研究生的博客
07-14 9227
记录一下如何使用 InsCode Stable Diffusion 进行 AI 绘图以及使用感受
只需3步，使用Stable Diffusion无限生产AI数字人视频
程序员，AI探索者
07-21 2046
这里默认大家都安装好Stable Diffusion WebUI了，如果还没安装过的朋友，建议去AutoDL上租一个服务器体验下，方便不贵，选择A5000规格的就差不多了，安装教程网上应该挺多的，这里就不啰嗦了，还不会的可以联系我。以上就是本文的主要内容了，使用这种方法就可以无限制作自己的AI专属数字人，想要什么样的风格都可以，想做多少个都可以，有兴趣的快去试试吧。当然要遵纪守法，不要搞出事情来。
最新stable diffusion生成高清放大图片教程！
ice829的博客
05-30 699
今天就网友碰到的为什么我生成的图片总是糊的问题，结合网友问题的复盘以及过去自己在绘图过程中的类似问题一起整理出来，分享给大家。大家如果还有相同问题碰到的场景，欢迎留言沟通交流。
【生成模型】Stable Diffusion原理+代码
qq_45752541的博客
02-17 1万+
Stable diffusion是一个基于（潜在扩散模型，LDMs）的文图生成（text-to-image）模型。具体来说，得益于的计算资源支持和在LAION-5B的一个子集数据支持训练，用于文图生成。通过在一个潜在表示空间中迭代“去噪”数据来生成图像，然后将表示结果解码为完整的图像，让文图生成能够在消费级GPU上，在10秒级别时间生成图片。目前，Stable Diffusion发布了v2版本。
AI 绘画工具 Stable Diffusion 本地安装使用
A2421417624的博客
04-25 825
推荐指数：★☆☆☆☆适用人群：浅尝辄止地体验玩家如果你只想浅尝辄止地体验一下 AI 绘画的魅力，可以考虑使用一些 SD 的在线网站，比如 DreamStudio，可免费生成 200 张图片，之后需要缴费，这类在线网站对生成的图片的调教功能偏弱，无法批量生成图片，体验着玩玩还行，不适合深度玩耍。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。
Stable Diffusion绘画 | 图生图-涂鸦
Leo-Fighting的博客
08-07 538
涂鸦的参数与「图生图」Tab 是完全一致的，只是没有蒙版的设置。它不再局限在某一块小区域的蒙版修改，而。可以将它理解成一个。
Stable Diffusion绘画 | 图生图-上传重绘蒙版
Leo-Fighting的博客
08-07 149
使用PS制作的蒙版图片为耳朵下方区域，可以为图片中的女生带上不同款式的耳环。上传重绘蒙版，可以弥补局部重绘的缺点，能够更精细的修改画面中的指定区域。
Stable Diffusion绘画 | 图生图-批量处理
Leo-Fighting的博客
08-07 385
批量处理中，对待处理图片的要求：宽高比一致。
Stable Diffusion WebUI 1.10.0来了
程序员，AI探索者
08-05 1046
大家好，我是每天分享AI应用的萤火君！前几天 AUTOMATIC1111 发布了Stable Diffusion WebUI 1.10，我也在第一时间将云环境的镜像升级到了最新版本，有兴趣的同学可以去体验下，目前已经发布到了AutoDL，镜像地址：这篇文章集中给大家介绍下SD WebUI 1.10的新功能和各项改进。
Stable Diffusion 官方模型V1.5版本下载
程序员深度学习
08-04 432
Stable Diffusion的官方模型更适合绘制偏写实的风格，如果您想绘制二次元之类的风格，可以考虑下载本站的其它模型。
Stable Diffusion 使用详解（7）---AI 摄影
talentyiyy的专栏
08-07 350
魔法师使用魔法作的画有时候太过完美，以至于有点脱离真实摄影的感觉，我们看看怎么尽量做好AI摄影。其实你看了几期这个专栏写的文章，AI 绘画操作对于魔法师来讲，是有套路可寻的。对于真实系的任务或风景来讲，太完美往往不是上上之选。有时候可能需要‘接地气’。唯美而不失真，恰到好处比较好。
Stable Diffusion绘画 | 图生图-基础使用介绍—重绘幅度与缩放模式
Leo-Fighting的博客
08-05 327
这4种缩放模式，实际上都是一种弥补处理的方式，最好的处理方式是：生成的图片与原图的宽高比匹配，避免画面变形的情况。通过点击 📐 按钮来获取原图的宽高：如果需要等比例缩小/放大画面，可以通过「重绘尺寸倍数」来实现：出图如下所示（记得恢复默认的缩放模式=仅调整大小）：今天先分享到这里~SD绘画 | 为你所做的学习过滤。
Stable Diffusion绘画 | 提示词基础原理
最新发布
Leo-Fighting的博客
08-08 129
每个提示词自身的权重默认值为1，但越靠前的提示词汇分配更高的权重。但换行时，记得在结尾添加英文逗号“,”来进行区分。超出75个单词的关键词，对整体画面的影响非常小。需要重点突出的提示词，要尽量优先填写。SD 中，提示词的填写并非越多越好，
Stable Diffusion绘画 | 图生图-涂鸦重绘
Leo-Fighting的博客
08-06 415
涂鸦重绘的整体参数配置，与局部重绘基本一致，仅多了一个的参数。都是对局部区域进行重新绘制，但它不仅能识别蒙版的区域，同时还能识别。例如，对图片中的人物脸部，使用蓝色的画笔，画一个口罩形状的蒙版。在提示词中添加口罩mouth_mask生成的图片，口罩颜色与画笔颜色基本类似。
用stable diffusion ai 将自己变成动画角色
08-10
使用稳定扩散AI将自己变成动画角色是一项有趣的想法。稳定扩散AI是一种先进的人工智能技术，可以通过学习和训练来生成想象力丰富、富有个性和动感的角色。 首先，将自己的照片输入稳定扩散AI系统。该系统会分析照片中的面部特征，包括眼睛、嘴巴、鼻子等。然后，AI会通过学习现有动画角色的造型和特征，以及动画的风格和风格细节，生成一个基本的动画角色设计。 接下来，可以使用稳定扩散AI优化和调整生成的动画角色。AI可以根据个人的喜好和个性特点，对角色的发型、服装、性格特征等进行个性化设计和调整。例如，可以改变发型的颜色和样式，选择一个适合自己的服装风格，还可以调整角色的表情和姿势，使其看起来更富有动感和个性。 最后，生成的动画角色可以通过稳定扩散AI的渲染技术，制作成高质量的动画效果。AI技术会为角色添加光影和纹理，使其看起来更加真实和生动。此外，还可以选择背景和场景的设计，将自己的动画角色放置在不同的环境中，增加角色的可玩性和表现力。 通过稳定扩散AI，将自己变成一个动画角色不仅能够丰富个人形象，还可以享受到动画世界的独特魅力。这种技术的进展使个人有机会参与到动画创作和互动中，体验不同的虚拟角色和场景，创造属于自己的动画世界。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值