在短视频蓬勃发展的当下,各种新奇创意内容层出不穷。你是否曾在刷短视频时,被这样的场景震撼:关羽手持青龙偃月刀,却深情地唱起了流行歌曲;诸葛亮羽扇轻摇,开口竟是动感的摇滚旋律。这些原本只存在于历史典籍中的三国人物,如今在短视频里 “开口唱歌”,打破了时空的界限,给观众带来了极大的视觉和听觉冲击。而这一切的背后,离不开 AI 技术的助力。从精准的对口型技术到充满创意的内容设计,每一个环节都凝聚着ai工具的力量。
接下来,我们探索AI如何让历史人物开口唱歌,从对口型技术到创意内容设计,揭秘短视频创作的幕后技术。
技术实现概览
AI对口型技术
利用"即梦"、"剪映"等工具的对口型功能,上传三国人物图片后自动检测角色,匹配音色库,生成自然开口唱歌的视频。
高阶版本:如需与原生影视人物较为接近的音色则可以使用cosyvoice或gpt-sovits等开源工具克隆原声制作音频素材。
人物素材
人物素材可以是图片或视频,不过强烈推荐视频素材,因为图片素材使用对口型的生动模式后,会被裁成正方形,破坏构图,且不利于短视频排版。而视频素材不会有这问题,还更有真实感。但视频素材长度不能短于音频。
音视频合成与剪辑
在剪映等软件中,通过关键帧调整嘴部动作与歌声节奏匹配,利用"画中画"功能叠加动态歌词。实现专业级的视频制作效果。
创意内容设计
创作者需结合三国人物特点设计歌词与表演形式。例如,周瑜唱《双截棍》、刘备唱《月光》等现代歌曲与古典人设的冲突喜剧效果,通过AI辅助生成符合角色设定的文案,增强内容的趣味性和观赏性。
创作流程详解
准备素材与选择工具
首先收集三国人物的高清图片或视频素材,同时,根据创作需求选择合适的AI工具,如即梦、剪映、cosyvoice或gpt-sovits等。
注意事项1:遇到短的视频素材,又找不到长的切片替代,可以变速,如果短的太多,变速后掉帧严重,补帧都不行,这时可以复制这个素材,放到后面点个倒放,这样两个素材之间过渡就很自然了。
注意事项2:如对口型嘴巴变形,嘴巴太小、变形或有遮挡物。这是人物素材没选好,素材得面部五官清晰,嘴巴不能太小,人物不能太远,而且找素材时,人物最好有说话且嘴巴张合动作,这样 AI 才能精准生成完美口型。
AI对口型技术应用
使用"即梦"或"剪映"等工具的对口型功能,上传三国人物图片或视频素材后,输入歌词文案后即可生成人物开口唱歌的视频。
注意事项:如检测不到角色从而对口型,有可能是1.小嘴巴卡通人物检测不到嘴。2.人物面部不完整,要选头部完整的素材。3.画面多人,AI 无法确定目标。4.是知名人物平台受限制,不能使用。
创意内容设计与歌词创作
结合三国人物特点设计歌词与表演形式,例如周瑜唱《双截棍》、貂蝉唱《红昭愿》等现代歌曲与古典人设的冲突喜剧效果。通过AI辅助生成符合角色设定的文案,增强内容的趣味性和观赏性。
歌词创作技巧
- 保留人物性格特点:如曹操的霸气、诸葛亮的智慧
- 结合现代流行元素:如rap节奏、流行歌词结构
- 突出历史背景:融入三国历史事件或人物典故
视频合成与后期处理
在剪映等软件中,通过关键帧调整嘴部动作与歌声节奏匹配,上传好对好口型的视频素材后,上传本地配音,点击生成,等待完成。
创意案例分析
《周瑜唱双截棍》
将三国名将周瑜的形象与现代rap歌曲《双截棍》结合,通过AI对口型技术让周瑜形象开口演唱,歌词内容巧妙地融合了三国历史元素和现代流行语,形成强烈的反差萌效果。
热门指数:★★★★★
《貂蝉唱红昭愿》
将三国美女貂蝉的形象与现代古风歌曲《红昭愿》结合,通过AI对口型技术让貂蝉形象开口演唱,歌词内容与貂蝉的悲惨命运相呼应,引发观众的情感共鸣。
热门指数:★★★★☆
《诸葛亮空城计RAP》
将诸葛亮的"空城计"经典故事改编为现代RAP形式,通过AI对口型技术让诸葛亮形象开口演唱,歌词内容生动有趣,将历史典故与现代流行元素完美结合。
热门指数:★★★★
《三国群英会》
将多个三国人物形象汇聚在一起,共同演绎一首现代歌曲,通过AI对口型技术让不同角色开口演唱,形成独特的"群星演唱会"效果,展现三国人物的多样魅力。
热门指数:★★★★