手把手教学！Stable Diffusion可以生成视频了~

最新推荐文章于 2025-04-12 15:01:26 发布
最新推荐文章于 2025-04-12 15:01:26 发布
阅读量2.5k 收藏 9
点赞数 9
文章标签： stable diffusion 音视频 大数据 人工智能 AI作画 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85116933/article/details/144051849
版权

之前我曾经多次介绍过，可以一键生成视频的模型。包括能够有效解决视频闪烁的Rerender A Video模型

图片

还有开源的CoDeF模型 ：

图片

这些模型要不就是没有开源，要不就是有一定的上手难度。因此本期介绍简单易上手的Stable Video Diffusion。

它是由Stability AI发布的，一个基于图像模型稳定扩散的生成视频模型。

目前它已经提供了相应的模型和开源代码，普通人可以在20秒内简单上手。

图片

Stability AI宣称，该视频模型可以轻松适应各种下游任务，包括通过对多视图数据集进行微调，或者从单个图像进行多视图合成。

图片

稳定视频扩散以两种图像到视频模型的形式发布，能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25
帧。在不同模型对比来看，SVD模型比目前尚未开源的一些模型效果要好：

图片

手把手教学

目前可以直接使用C solab尝试一下该模型生成的效果。可以登陆网站

https://github.com/camenduru/stable-video-diffusion-colab

点击下面任意一个代码链接Colab：

图片

点击运行后，可以看到会生成一个网页链接：

图片

打开网页后，就可以上传自己的图片进行视频转换了

图片

下面我们来看看不同的类型这个模型能够转换的效果。

1

人物图片转换

在人物图片转换成视频可以看到，其像是转移了拍摄角度，且很好的保留原始图片的信息并做了额外背景的补全。

图片

而在控制人物的表情方面，这个模型也能够有效的在细节上做控制。比如下面的这个视频，可以看到人物的眼睛有一个明显的上移。

图片

2

风景图片转换

这里上传了一张蓝色汽车的图片。

从视频效果中可以看到，生成的效果使得汽车在运动，且车速较快，因为它的运动模糊效果很强烈。

图片

这是一张描绘夜晚城市街道的图片，一辆银色的汽车停在路边。背景补全了不同视角的高楼大厦和霓虹灯牌。

图片

3

动画图片转换

在动画风格的转换上，它能够很好的模拟出烟花的效果。比如上传的是一张静态的烟花图：

图片

它则能够模拟出烟花的动画效果：

图片

未来计划

目前仅仅开源了图片生成视频模型，但是未来将会把文本生成视频模型也一并开源。

图片

目前可以加入到它的waitlist中尝试一下。

https://stability.ai/contact

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

  • GPT的定义与概述
  • GPT与其他AI对比区别
  • GPT超强记忆力体验
  • 万能GPT如何帮你解决一切问题？
  • GPT表达方式优化
  • GPT多类复杂应用场景解读
  • 3步刨根问底获取终极方案
  • 4步提高技巧-GPT高情商沟通
  • GPT深度玩法应用场景
  • GPT高级角色扮演-教学老师
  • GPT高级角色扮演-育儿专家
  • GPT高级角色扮演-职业顾问
  • GPT高级角色扮演-专业私人健身教练
  • GPT高级角色扮演-心理健康顾问
  • GPT高级角色扮演-程序UX/UI界面开发顾问
  • GPT高级角色扮演-产品经理
  • GPT高级技巧-游戏IP角色扮演
  • GPT高级技巧-文本冒险游戏引导
  • GPT实操练习-销售行业
  • GPT实操练习-菜谱推荐
  • GPT实操练习-美容护肤
  • GPT实操练习-知识问答
  • GPT实操练习-语言学习
  • GPT实操练习-科学减脂
  • GPT实操练习-情感咨询
  • GPT实操练习-私人医生
  • GPT实操练习-语言翻译
  • GPT实操练习-作业辅导
  • GPT实操练习-聊天陪伴
  • GPT实操练习-育儿建议
  • GPT实操练习-资产配置
  • GPT实操练习-教学课程编排
  • GPT实操练习-活动策划
  • GPT实操练习-法律顾问
  • GPT实操练习-旅游指南
  • GPT实操练习-编辑剧本
  • GPT实操练习-面试招聘
  • GPT实操练习-宠物护理和训练
  • GPT实操练习-吸睛爆款标题生成
  • GPT实操练习-自媒体爆款软件拆解
  • GPT实操练习-自媒体文章创作
  • GPT实操练习-高效写作推广方案
  • GPT实操练习-星座分析
  • GPT实操练习-原创音乐创作
  • GPT实操练习-起名/解梦/写诗/写情书/写小说
  • GPT提升工作效率-Word关键字词提取
  • GPT提升工作效率-Word翻译实现
  • GPT提升工作效率-Word自动填写、排版
  • GPT提升工作效率-Word自动纠错、建议
  • GPT提升工作效率-Word批量生产优质文章
  • GPT提升工作效率-Excel自动化实现数据计算、分析
  • GPT提升工作效率-Excel快速生成、拆分及合并实战
  • GPT提升工作效率-Excel生成复杂任务实战
  • GPT提升工作效率-Excel用Chat Excel让效率起飞
  • GPT提升工作效率–PPT文档内容读取实现
  • GPT提升工作效率–PPT快速批量调整PPT文档
  • GPT提升工作效率-文件批量创建、复制、移动等高效操作
  • GPT提升工作效率-文件遍历、搜索等高效操作
  • GPT提升工作效率-邮件自动发送
  • GPT提升工作效率-邮件自动回复
  • GPT接入QQ与QQ群实战
  • GPT接入微信与微信群实战
  • GPT接入QQ与VX多用户访问实战
  • GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

  • -----------
    AI绘画定义与概述
  • AI绘画的应用领域
  • AI绘画与传统绘画的区别
  • AI绘画的工具分类介绍
  • AI绘画工具-Midjourney
  • AI绘画工具-百度文心一格
  • AI绘画工具-SDWebUI
  • AI绘画工具-Vega AI
  • AI绘画工具-微信中的AI绘画小程序
  • Midjourney学习-Discord账号的注册
  • Midjourney Bot界面讲解
  • Midjourney提示词入门
  • Midjourney高级提示词
  • Midjourney版本参数学解读
  • Midjourney功能参数
  • Midjourney上采样参数
  • AI绘画组合应用1-Midjourney + GPT
  • AI绘画组合应用2-Stable Diffusion + GPT
  • AI绘画组合应用3-AI绘画+ GPT +小红书
  • AI绘画组合应用4-AI绘画+ GPT +抖音
  • AI绘画组合应用5-AI绘画+ GPT +公众号
  • AI绘画组合应用6-AI绘画+ GPT + AI视频
  • AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
  • AI绘画设计-Logo设计
  • AI绘画设计-套用万能公式
  • AI绘画设计-引用艺术风格
  • AI绘画设计-GPT加速设计方案落地
  • AI绘画设计-Vega AI渲染线稿生成设计
  • AI绘画设计-摄影
  • AI绘画设计-头像设计
  • AI绘画设计-海报设计
  • AI绘画设计-模特换装
  • AI绘画设计-家具设计
  • AI绘画设计-潘顿椅设计
  • AI绘画设计-沙发设计
  • AI绘画设计-电视柜设计
  • AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • -----------
    AI视频定义与概述
  • AI视频制作-方案与创新
  • AI视频制作-各种工具实操
  • AI视频制作-美学风格(油画/插画/日漫/水墨)
  • AI视频制作-形象设定(人物形象服装/造型/表情)
  • AI视频画面特效处理
  • AI视频画面拼接
  • AI视频画面配音
  • AI视频画面包装
  • AI视频锁定人物逐一精修
  • 多种表情动作/情节
  • 动态模型转换-视频内部元素关键帧
  • 动态模型转换-图像整体运动
  • 动态模型转换-虚拟人
  • 动态模型转换-表面特效
  • AI自媒体视频-深问GPT，获取方案
  • AI自媒体视频-风格设置(诗歌/文言文等)
  • AI自媒体视频-各行业创意视频设计思路
  • AI视频风格转换
  • AI视频字数压缩
  • AI视频同类型衍生
  • AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

  • -----------
    AI数字人工具简介
  • AI工作台界面功能展示及介绍
  • AI数字人任务确定
  • AI数字人素材准备
  • AI知识、语料的投喂
  • AI模型训练
  • AI训练成果展示及改进
  • AI数字人直播系统工具使用
  • AI人物在各平台直播
  • AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

-----------

  • AI-小红书引流变现
  • AI-公众号引流变现
  • AI-知乎引流变现
  • AI-抖音引流/带货变现
  • AI-写作变现
  • AI-B站引流变现
  • AI-快手引流变现
  • AI-百家号引流变现
  • AI-制作素材模板出售变现
  • AI-周边定制变现
  • AI-手机壳图案定制变现
  • AI-周边产品定制变现
  • AI-服装图案定制变现
  • AI-个性头像定制变现
  • AI-起号与知识付费变现
  • AI-实现淘宝销售变现

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！

请添加图片描述

在这里插入图片描述

Stable Video Diffusion
whaosoft143ai的博客
11-22 1235
在 Stable Video Diffusion 的论文中，Stability AI 确定并评估了成功训练视频潜在扩散模型的三个不同阶段：文本到图像预训练、视频预训练和高质量视频微调。他们还证明了精心准备的预训练数据集对于生成高质量视频的重要性，并介绍了训练出一个强大基础模型的系统化策划流程，其中包括了字幕和过滤策略。本文将图像预训练视为训练 pipeline 的第一阶段，并将初始模型建立在 Stable Diffusion 2.1 的基础上，这样一来为视频模型配备了强大的视觉表示。看起来这是个好的开始。
stable diffusion 能不能生成视频?
wang6168的博客
02-20 1463
Stable Diffusion 本身是图像生成模型，但结合扩展工具或变体模型可以实现视频生成功能。以下是目前主流的实现方法和具体操作步骤：一、使用 Stable Video Diffusion (SVD) 生成视频特点：官方推出的视频生成模型，支持图生视频（14或25帧），效果连贯性较好，但需要较高显存（建议48G以上）。操作步骤：环境准备：安装 Python 3.10+ 和 PyTorch 2.0+，确保 CUDA 环境正常。
没想到我还要求着AI动起来（Stable Diffusion进阶篇：ComfyUI SVD图片转视频）
2401_84760527的博客
07-17 2088
在上一篇文章中讲到了如何下载安装ComfyUI，目的就是为了今天的图片转视频，毕竟上次的Gen2让我的钱包不是很满意。当然如果完全没接触过ComfyUI或者WebUI看这期视频跟着操作也是可以的，前提是得先下载安装好本文涉及的工作流和插件，需要的朋友请扫描免费获取哦如果是已经接触过WebUI的小伙伴们来说这篇文章还是很好上手的。
惊！读取大脑重建高清视频，Stable Diffusion还能这么用
最新发布
Android 开发架构
04-12 430
现在，AI可以把人类**脑中的信息** ，用**高清视频** 展示出来了！
纯干货篇，用Stable diffusion制作广告的保姆级教程
CCEEHM的博客
11-28 1267
纯干货篇！用Stable diffusion制作广告的保姆级教程
第一批AIGC下海的人已经开始上岸了
2301_77194616的博客
10-17 676
纵观过去二十余年的中国商业历程，我们能清晰地感受到这样一条路径：在新技术理论层面中国商业界并非鳌头，但是在新技术应用层面中国商业无出其右。最典型的代表行业，正是互联网经济互联网不是中国的原创，但互联网经济在中国落地开花，直至领先全球。。同样的开始，同样的路径，AI科技不是中国原创，年初ChatGPT横空出世引发全球轰动。目前AIGC已成为科技界最新热门方向，国内资本市场与互联网大厂也纷纷布局AIGC应用领域。触手AI，让漫画成为第一个AI落地产业…
【Stable Diffusion】用AI绘画给老照片上色，岁月不改它模样
白帽阿叁的博客
03-16 2715
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
刚刚！Stable diffusion 2024升级加强版终于来了！（无需安装，解压即用）
m0_71744960的博客
06-26 1874
要说AI绘画圈最出圈的工具那妥妥的就Stable diffusion这不前段时间2024升级加强版来咯！不仅生成图片还能生成视频\数字人等而且无需安装，直接解压就能用Stable Diffusion 是以文本生成图像的 AI 工具，不仅可以在线使用，还能部署在家用电脑上的 AI 绘图工具，可以在大部分后期电脑下运行，并在短短几秒钟内生成清晰度高，还原度佳的 AI 图片，无需预处理和后处理！这里直接将该软件分享出来给大家吧~
【Stable Diffusion】用AI给老照片上色，一键直接生成，接单神器
m0_58477260的博客
09-06 1121
在最近新上线的controlnet模型中，除了我们之前测试过的一众适配sdxl的模型以外，还增加了一款名为Recolor的新模型，它的作用是可以将黑白的图片进行重新上色。
手把手教你微调Stable Diffusion
mate1357的博客
05-29 1717
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
【SD教程】Stable Diffusion 拒绝一眼AI，超写实图片如何制作？全网最详细教程（附模型），手把手教学！
2401_84250614的博客
05-06 2088
总体来说，有了这款皮肤质感的Lora模型，生成出来的图片确实要花费更长的时间去鉴别是否来自AI生成。整体也简单易用。文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。
【实操教程】手把手教你如何用Stable Diffusion，做服装款式设计！
JxyyzAI的博客
07-31 1875
那么如果我们喜欢一个款式但是想要看一下不同的配色效果呢，这个时候我们就可以用Various-wildcards通配符合集，选择这个色块通配符，然后附着在我们设定好的衣服后面，接着我们打开controlnet上传我们的参考图，选择canny模式，然后点击生成就能源源不断生成不同颜色配色的服装设计了。我这里写的是优雅的鸡尾酒会礼服，蕾丝细节。我们可以复制上面这一串带着两个下划线的词组，然后把它放到提示词里，这样在生成的过程中他就会在下方一系列提示词中抽一个进去发挥作用，每生成一次都会有一个不同的衣服出现。
AI绘图，手把手教你用 stable diffusion 绘制真人图像
AA1213888的博客
07-29 1082
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
一口气摸透AIGC文生图产品SD（Stable Diffusion）！
女王の专属领地
11-26 1802
Stable Diffusion是一种基于深度学习的图像扩散生成模型，利用文本描述生成图像。该模型由CompVis、Stability AI和LAION合作开发，具有高稳定性和生成质量。Stable Diffusion直译为稳定扩散，理解稳定扩散之前先通过两张图片介绍一下什么是前向扩散和逆向扩散。所谓前向扩散（forward diffusion）过程就是向训练图像中不断地添加噪声，从而使其逐渐变为一张毫无意义的纯噪声图。经过前向扩散猫的图像变成了随机噪声。
AI绘画 | Stable Diffusion 图片背景完美替换
白帽阿叁的博客
01-31 4867
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion 老照片修复+高清化+一键抠图教程
qq_41314882的博客
05-09 4788
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
[Stable diffusion]人物动作姿势提示词
Web_boom的博客
07-31 804
在AI绘画中，在提示词中如果不指定动作姿势，AI会随机做一些动作POS（基本都是比较固定的），在关键字中加入动作提示词，可以提升模特的构图美感，下面是几组常用的动作关键字。在AI绘画中，在提示词中如果不指定动作姿势，AI会随机做一些动作POS（基本都是比较固定的），在关键字中加入动作提示词，可以提升模特的构图美感，下面是几组常用的动作关键字。
AI绘图实战（六）：制作一张庆祝五一劳动节的海报 | Stable Diffusion成为设计师生产力工具
暂时先用这个名字
04-19 4876
S：AI能取代设计师么？I ：至少在设计行业，目前AI主要角色还是超级工具，要顶替？除非甲方对设计无所畏惧~~stable diffusion就只能小姐姐么？不，今天我们用stable diffusion制作一张庆祝五一劳动节的海报。
手把手教扩散模型图像修复
01-03
### 使用扩散模型进行图像修复 #### 了解扩散模型的基础原理 扩散模型是一种强大的生成模型，其工作原理是在噪声数据和原始清晰数据之间建立映射关系。通过逐步去除添加到输入中的随机噪声来恢复目标特征，在这一过程中可以实现多种视觉任务，包括但不限于图像去噪、超分辨率重建以及图像修复等[^1]。 #### 准备环境与依赖库安装 为了能够顺利运行下面提到的相关代码片段，确保已经配置好Python开发环境，并且安装必要的第三方包如PyTorch, torchvision以及其他可能需要用到的支持库。 ```bash pip install torch torchvision torchaudio diffusers transformers accelerate safetensors ``` #### 加载预训练模型并设置参数 这里采用Hugging Face提供的`diffusers`库加载预先训练好的稳定扩散模型实例作为基础架构来进行后续操作： ```python from diffusers import StableDiffusionInpaintPipeline import torch device = "cuda" if torch.cuda.is_available() else "cpu" model_id_or_path = "runwayml/stable-diffusion-inpainting" pipe = StableDiffusionInpaintPipeline.from_pretrained(model_id_or_path).to(device) ``` #### 输入准备：损坏图片及掩码定义 对于要修复的破损区域，需要创建对应的二值化蒙版（mask），其中白色部分表示待填充区而黑色则代表保留不变之处；接着读取原图及其对应位置上的遮罩文件路径完成初始化处理。 ```python from PIL import Image import numpy as np image = Image.open("./example_image.png") # 原始受损图片路径 mask = Image.open("./example_mask.png").convert('L') # 掩码图片路径转换成灰度模式 init_image = image.resize((512, 512)) # 调整大小至适合网络输入尺寸 mask_image = mask.resize((512, 512)) ``` #### 执行修复过程 利用上述构建完毕的对象执行实际的修补流程，这一步骤会依据给定条件自动生成缺失内容填补进指定区域内形成完整的输出结果。 ```python prompt = "" # 可选提示词用于指导生成风格，默认为空字符串即不加任何额外指示 output = pipe(prompt=prompt, image=init_image, mask_image=mask_image).images[0] output.save("result.png") ``` 以上就是基于扩散模型实施简单版本的图像修复方案概述[^3]。值得注意的是，虽然这种方法能有效解决许多类型的损伤情况，但对于某些极端案例仍可能存在局限性，因此建议根据实际情况灵活调整策略以达到最佳效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值