Stable Diffusion|小说转视频/小说推文全流程制作分享

203 篇文章 4 订阅

今天我将详细分享一个将小说转化为视频的全过程小教程。随着AI绘画技术的迅速崛起,许多人开始利用AI制作小说推文视频、儿童绘本等等,并在各大短视频平台,如海外的TikTok和国内的优酷、爱奇艺等,进行发布。这种创新的小说阅读方式不仅吸引了许多用户的关注和喜爱,同时也为一些创作者带来了可观的收入。
在这里插入图片描述

将小说转化为视频大概分如下五个部分:

小说授权

如果你是小说的作者或拥有版权,或者你只是想生成视频供个人娱乐,那么可以忽略这一部分。但如果你想将小说转化为视频并发布到短视频平台上,那么就需要获得授权,我们才能将自己制作的小说视频发布到各大平台上做推广,并获得收益,如果不获取授权,可能会无法获得推广收益,还会面临版权的风险。现在市面上有很多获取小说推广的授权方法,这里我就不一一介绍了,如果有需要的欢迎后天私聊交流~

选择小说

选择用户感兴趣的小说能够增加出现爆款的可能性。这一步其实很简单,我们可以关注各大小说APP的榜单,了解当前最受欢迎的小说类型和题材。同时,我们也可以在短视频平台上观察其他用户发布的爆款视频,了解用户的喜好和趋势。通过这些方法,我们可以更好地把握用户的需求和兴趣,从而选择适合的小说并制作出爆款视频。

小说改写

在短视频平台上,一条视频如果在前几秒钟无法吸引用户的注意力,用户就会滑走。考虑到纯文字类小说的字数通常在十几万甚至上百万,为了在短时间内捕捉用户的目光,我们需要提炼小说中的精华和高潮部分,并对其进行二次创作这一步是比较重要的一部分。

分镜配图

这一部分相对简单一些,现在市面上有很多小说推文的制作工具(底层也是Stable Diffusion或者Midjourney),不管是分镜还是配图都可以轻松的使用工具来完成。如果不想使用工具,也可以自己使用AI绘画工具和AI语言大模型来完成。

剪辑

剪辑一般都是用剪映来完成,在生成图片后,我们将其导入剪映,然后进行配音、添加特效以及背景音乐等等。

废话了一大堆,下面开始正式的教程

1 前期准备

本文将会用到“Stable Diffusion”、“极虎漫剪”以及“剪映”。

Stable Diffusion以及剪映我就不介绍啦。市面上有很多的小说推文工具以及Stable Diffusion的插件,而“极虎漫剪”是其中的一个,“极虎漫剪”是我个人觉得效果比较好,操作比较简单的一款工具,它的底层也是Stable Diffusion,所以在使用它之前也需要启动Stable Diffusion。

极虎漫剪下载地址:https://tiger.easyartx.com/landing

图片

点击“下载 Windows 版本”即可下载。

2 小说改写

一个小说推文的视频时长通常建议控制在5-10分钟之间,这样的长度既能满足用户在短时间内获取故事情节的需求,又不会让观众感到疲劳。对于一个5分钟的视频,字数一般在2000-3000字左右。在前30%的内容中,有些用户可能会选择手动改写,以增加一些当前的热门梗,这样能够更好地吸引观众的注意力。而剩余的内容则可以通过AI进行改写。本文将重点介绍如何利用AI来改写小说内容。

本文将会用“文心一言3.5”改写,4.0的效果会更好,有条件的用户也可以使用“GPT4.0”效果会更好。

  1. 准备好小说之后,打开“文心一言”,输入提示词。

你现在需要扮演一名资深的幽默小说作家,你的任务是将我给你的原文小说进行改写。需要使用大众常用的词语和表达方式,避免过于正式或者复杂的词汇和句型,适当添加一些幽默的元素,比如对人物或者情节的夸张描述,或者是一些俏皮的评论等,尽量使用一些吸引人的词语和表达方式,可以是一个悬疑点、冲突点、或者共鸣点,让用户产生“代入感”。在改写过程中,不能改变原文的剧情,需要保证剧情的连贯性,让用户能够理解剧情的发展,明白了请回复1,我将会把小说发给你。

图片

  1. 我们以《宿命之环》这部小说为例,截取了约400字的内容作为演示。将上面的提示词发给文心一言之后,再将小说内容发给文心一言。

图片

  1. 改写完之后,如果觉得不太满意,可以让它在重新改一下。

图片

我们可以看到,第二次改写之后,会比第一次好一些,如果觉得还有优化空间,可以让它继续改写,或者自己手动再改一改。

图片

图片

这里我就直接使用第二次改写后的内容,用于接下来的介绍。将改写好的内容复制粘贴到docx或者txt文档上。

3 工具使用

  1. 在开始使用“极虎漫剪”之前,需要先启动“Stable Diffusion”。

图片

  1. 打开极虎漫剪,点击右上角“登录/注册”按钮,然后输入手机号登录或注册即可。

图片

  1. 点击“通用设置”设置生成图片的基本参数等等,设置完成后记得点右上角的保存。(SD WebUI URL地址,如果SD已启动,它会自动读取)

图片

  1. 设置好参数之后,回到首页,点击“创作视频”,输入”小说别名”然后再点击“创建项目”。

图片

  1. 项目创建完之后,点击“导入脚本文件”,这里有两个选项,一个“文本导入”,另一个是“Excel导入”。

文本导入

支持docx以及txt文件导入,下方还有三个分镜选项:

通过“换行”区分:需要自己手动换行分镜,一个段落代表一个镜头;

通过特殊符号“#@#”区分:在需要分镜的段尾添加“#@#”符号;

通过“智能解析”分镜:直接上传“docx”或“txt”文件,软件会基于AI智能解析能力对故事原文进行分镜处理。

图片

如果不想自己手动分镜选择第三个即可。

Excel导入

如果想自己手动分镜、写提示词,可以点击“下载文件模版(EXCEL)”下载模版,然后将分好的“镜头”以及“提示词”填入,再点击“导入文件”即可。

图片

本文将直接使用“文本导入”-“通过“智能解析”分镜”,它可以更快速的进行分镜以及提取提示词。

  1. 将小说导入之后,点击左上角的“推理关键词”(如果已经自己写好了关键词点击“下一步”即可),软件将会通过AI自动推理关键词。

图片

  1. 推理完关键词后,可以检查一遍看有没有需要调整的地方(一般不怎么需要调整,推理关键词的效果还是很不错的)。如果画面中有多个角色,可以点击右上角的“角色设置”设置角色、添加Lora等,如果不需要点击“下一步”即可。

图片

  1. 点击“下一步”之后,选择好大模型以及模版,然后点击右上角的“开始绘图”。

Tips:“通用模版”就是一开始在“通用设置”设置的参数。

图片

  1. 等生成好图片之后,检查一遍生成的图片,如果有需要调整的图片,点击“重绘本镜”或点击“调整参数”。

图片

  1. 生成好图片之后,点击“下一步”到视频生成这一步,在右上角“视频生成”有两个选项,一个“视频生成”,另一个是“剪映草稿生成”,如果想快速生成视频+配音,可以选择“视频生成”,想自己在调整一下然后加一些特效可以选择“剪映草稿生成”,这里我选择了“剪映草稿生成”,可以自己在稍微的调整一下,增加一些特效音等等。

视频生成:选择好配音音色,字幕设置等参数,点击“合成视频”即可。

剪映草稿生成:需要上传字幕文件,然后点击“合成草稿”。

图片

字幕文件生成可以使用“魔音”(付费)、“TTSMaker”(免费)等工具生成。

魔音可以直接生成,这里我用“TTSMaker”来演示生成字幕文件:

10.1 打开“TTSMaker”,将小说复制粘贴到输入框,选择一个语言,然后选择一个音色。

TTSMaker链接:https://ttsmaker.com/

在这里插入图片描述

10.2. 点击“高级设置”,文件下载格式选择“mp3”,调节语速选择“1.2”。

图片

10.3. 设置完成之后点击“开始转换”,转换完成之后,点击“下载文件到本地”。

图片

10.4. 将文件下载到本地之后,打开“剪映”,将刚刚下载好的mp3文件拖入到音轨。

图片

10.5. 点击上方菜单栏的“文本”-“智能字幕”-“文稿匹配”,然后点击“开始匹配”,将刚刚的小说内粘贴到输入框,点击“开始匹配”即可。

图片

图片

10.6. 文稿生成完之后,在顶部点击“菜单”-“文件”-“导出”,然后滑到下方勾选“字幕导出”,选择“SRT”,再点击“导出”即可。

图片

这样SRT就导出完成啦。

  1. 打开极虎漫剪,点击“未上传字幕文件”按钮,然后再点击“上传字幕文件”,选择刚刚导出的字幕文件(SRT)即可。

图片

所以的内容都设置好之后,点击“合成草稿”。合成完成之后打开“剪映”即可看到刚刚生成的草稿。

4

视频剪辑

在剪映草稿生成完毕后,打开剪映,然后加载刚刚生成的草稿。可以播放一遍来查看是否需要调整关键帧,如有需要,可以进行微调。

图片

草稿中的所有基础特效、配音和字幕等都已准备就绪,我们只需在此基础上添加上一些背景音乐、特效和特效音等装饰性效果即可。

背景音乐添加

  1. 在左上角的“音频”按钮中,选择与小说内容相契合的背景音乐。例如,如果小说内容是悬疑类,则选择悬疑类的背景音乐。

图片

  1. 选好一首背景音乐,将其拖入到音轨,然后将多余的部分剪掉。

图片

  1. 调整背景音乐和配音的音量。将配音的音量设置为“15.0dB”左右,并将背景音乐的音量降低至“−13dB”左右,以确保背景音乐的声音不会超过配音的音量。

图片

最后这里我选了两首背景音乐,随着剧情的转折,我们可以适时地添加其他背景音乐,以增强观众的代入感。

添加转场

  1. 在左上角的“转场”按钮中,选择适当的转场特效,并将其添加到图片切换处,以使切换更加流畅。建议在视频的前30秒添加一些转场特效,如果后面不想添加,也可以选择不加。

图片

在选择转场特效时,建议不要每个转场都过于花哨。可以每隔一个转场添加一个动作较大的特效,例如在第一个转场使用“抖动”特效,下一个转场可以尝试稍微缓和一些的“叠化”特效。这样可以提高观看的舒适度。

特效添加

  1. 在左上角的“特效”或“媒体”按钮中,选择需要添加的特效,特效适当的添加一些即可。

图片

添加完特效之后,在右侧可以适当的调整一下特效的参数。

添加特效音

  1. 在左上角的“音频”-“音效素材”按钮中,搜索需要添加的特效音,然后将它添加到音轨即可。

图片

特效音可以与先前添加的特效或转场相配合,也可以根据故事情节的需要进行添加。这样可以使整个故事更加生动有趣。

Tips:特效音的音量也需要适当的调低一些

所有的内容都设置完成之后,就可以点击左上方的“文件”-“导出”导出视频。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 15
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stable Diffusion WebUI ChilloutMix/ControlNet是一种稳定的网络用户界面,适用于ChilloutMix/ControlNet系统。该系统是一种用于控制和管理网络的解决方案。 Stable Diffusion WebUI ChilloutMix/ControlNet具有以下特点和功能。首先,它提供了直观和用户友好的界面,使用户能够轻松地操作和管理系统。该界面具有清晰的布局和易于理解的图形化界面,使用户可以快速找到所需的信息和功能。 其次,Stable Diffusion WebUI ChilloutMix/ControlNet具有高度稳定和可靠的性能。它能够处理大量的数据和信息,并在工作中保持稳定,从而确保系统的高效运行。 此外,该用户界面还提供了多种功能,包括远程监视和控制系统,实时数据显示和记录,警报和通知管理,以及系统配置和设置等。通过远程监视和控制功能,用户可以在任何地点实时监视和控制系统的状态和运行情况。同时,实时数据显示和记录功能可以提供关于系统运行的实时数据,帮助用户更好地了解系统的性能。 此外,该用户界面还提供警报和通知管理功能,以便及时通知用户系统的异常情况。用户可以配置所需的警报条件,并接收警报和通知消息,以便及时采取措施。 最后,通过Stable Diffusion WebUI ChilloutMix/ControlNet,用户可以对系统进行配置和设置,以满足特定的需求和要求。用户可以根据系统的工作要求进行参数配置,并进行必要的设置和调整,以确保系统的最佳性能。 总的来说,Stable Diffusion WebUI ChilloutMix/ControlNet是一款稳定可靠、功能丰富的网络用户界面,能够有效地管理和控制ChilloutMix/ControlNet系统。它提供了直观和易于使用的界面,具有多种功能,可以满足用户对系统控制和监视的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值