最近,我创作了一批主题为《AI画古诗》的系列视频作品,通过中国风的画面来还原古代诗歌中的场景,表达一种独属于中国的浪漫。
这些视频发布到快手、抖音、视频号、小红书等平台后,也收获了一些关注和私信。有很多朋友觉得这种视觉化呈现古诗的形式挺好的,很唯美,而且适合学习记忆诗词。
特别是有学校的老师,和我交流说觉得这种形式表现在教学方面挺适用的。
1.脚本创作
这个视频全程是用可图和可灵来进行制作的,模型是来自我们中国的快手团队。它们出图片和视频的效果不仅在世界上名列前茅,而且特别适合去体现中国文化,对国风水墨和传统意象有着很专业的理解。
那具体有多专业呢,就这么说吧,有很多时候,我都是直接把诗词甩过去,就能出很漂亮的图片了。
比如说“千里江陵一日还”
“独钓寒江雪”
“枯藤老树昏鸦”
“江清月近人”
“牧童遥指杏花村”
但是,也并不是所有的诗句都可以通过直接输入来生成。比如“羌笛何须怨杨柳”这句诗,对于AI来说,提示词中出现了“羌笛”和“杨柳”两个意象,所以在出图的时候我们得到结果是这样的。
画面中有杨柳,也有吹着羌笛的士兵,但实际上,这个画面表现是不符合歌词意境的。因为这首诗实际上描写的是边塞的荒凉景象,表达的是远征的士兵对家乡的思念。所以虽然歌词中有杨柳,但是杨柳实际上是不必出现的。
遇到这样的情况,我就会让kimi帮我具体描绘一下每个诗句的画面,然后就可以使用它描述出来的这句话“边关的士兵吹奏着羌笛,笛声中透露出对家乡的深深思念”作为提示词。
这样绘制出来的画面就更符合诗词的意境了。
当然除了借助AI工具之外,很多时候我们还是要自己描写提示词来绘制画面的。比如李商隐的《登乐游原》中的最后一句“只是近黄昏”,在kimi的描述中都是比较抽象的描写,但是出画面是需要告诉AI具体的绘画信息的。
所以,我就通过提示词描述了一朵夕阳下枯萎的花来表示这个意象,这样能使整首诗词的表达更加完整一点。
#****02
文生图
接下来就是关键的文生图了。
因为出图主要用到的是可图,所以我们需要先找到这个大模型。
大家可以在哩布哩布搜索这个大模型,并加入模型库。
然后再搜索“SD炼丹师忠忠”的这款“国风描金插画”的lora,一并加入模型库。
这样,就可以使用可图来进行在线的图片创作了。
不过要想得到更好的出图效果,我建议还是使用comfyui来进行绘制。要使用这个工作流,需要安装专门针对ComfyUI的MZ 节点,下载地址:GitHub - MinusZoneAI/ComfyUI-Kolors-MZ: Kolors的ComfyUI原生采样器实现(Kolors ComfyUI Native Sampler Implementation)
Kolors Utils节点,下载地址:GitHub - lrzjason/Comfyui-kolors-Utils:用于 kolors 的 Utils
大模型放在这个路径中……\ComfyUI-aki-v1.3\models\unet
工作流和大模型我已经放在网盘中,大家可以后台回复【可图】来领取。
安装好之后就可以直接输入中文进行生图了,其他参数按照默认就行。
生图尺寸和批次大小根据你的显卡能力酌情调整。
画面的唯美程度比哩布哩布上出的要好一些,水墨的质感很强。
#****03
图生视频
图生视频我这边使用的主要是可灵,目前应该是世界范围内,ai生图的第一梯队。
它每天会有66积分的免费额度,可以生成6个视频。你也可以使用不同的手机多注册几个账号。
正常的风景类视频成功率还是很高的,大部分一刷就搞定了。
如果是人物动作就需要多刷几次了。
有些时候,我也会用到首尾帧来连接起两个画面。
比如《鹊桥仙》中的“飞星传恨,银汉迢迢暗度”这句诗,我就用一段镜头衔接,把这两个画面串了起来。
#****04
配音剪辑
最后一步,就是全诗的配音与剪辑。
正常情况下,四段画面对应四句诗词放好就可以了。
音乐可以在剪映的素材库中选择,主要是要符合全诗的意境,而且在这短短十几秒内要有能抓耳的旋律出现,要对应上诗句的起承转合。
然后就是我觉得非常重要的音效,剪映里集成了各种各样声音,可以结合画面进行插入。
流水声、风声、虫鸣鸟叫……各种各样的声音让人能沉浸到如诗如画的意境中去。
最后,还有一个很多观众说到的事情,就是如果能加上朗诵配音就好了。
但是我试过了很多ai的朗诵之后,发现它们对文本的还没有办法理解,所以除了各色各样的音色以外,在情绪表达方面还很欠缺。为了不让生硬的朗读破坏诗歌的意境,所以我放弃了配音的环节。
虽然,但是,有一个AI配音还是值得说一下的,那就是魔音工坊。它除了有很多的音色之外,还可以对朗读的节奏进行调整,多音字,停顿,语速都可以自由调节,是我目前测试过最好的配音软件了。
#****05
总结
以上,就是我关于AI画古诗系列的全流程剖析了。
做这个系列完全是出于个人对中国传统文化的喜爱,AI给我提供了另一种维度的表现方式,让我们得以一窥古人的浪漫情怀。
我曾经在世博会中国馆中看到过全长128米的动态版《清明上河图》,将近4分钟包含白天和夜晚的北宋盛景,当时的震撼无以复加。
而现在,我可以利用ai技术来还原自己喜欢的一首首诗词,让我感到非常的幸运和快乐。
“君子生非异也,善假于物也。”希望大家能利用好AI工具赋予我们的可能性,创作出各式各样的作品。
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】