近期,Lalamu Studio开启了beta版本测试:Lalamu Studio。该工具整合了TTS和lip sync功能,可以让任意视频中的人物开口说话,并精确模拟口型。
例如,选择一段视频素材,添加由Ai合成的语音,即可完成实时播报和唇形同步。点击上面链接,访问Lalamu Studio。左侧可以合成语音,完成唇形同步。
选择一段动画,在左侧对画框中添加视频脚本,在下方选择一个播音员,点击生成音频,完成语音合成后,点击下方的Generation,开始合成视频。为了节省算力,Lalamu Studio并未提供高清视频输出。不过,从生成的动画可以看出,人物的口型可和语音完全相符。
然后,选择一段真人动画,测试一下口型模拟的效果。
Lalamu Studio还处于测试期,正式上市后,将会支持高清输出。Lalamu Studio还将推出多人物语音合成和编辑功能,让视频剪辑变得更有趣。
简单的了解了Lalamu Studio,我就为大家演示如何使用来Lalamu Studio为动画合成语音。
首先,使用任意工具,生成一张TINKERBELL的图像。登录Pikalabs:Pika,
输入 a pirate of the Caribbean提示,生成一段几秒钟的短视频,并保存到本地。返回Lalamu Studio,上传制作好的短视频。下一步,登录TTS语音合成网站Elevenlabs:Text to Speech & AI Voice Generator – ElevenLabs,点击voice library选项,从社区中选择一个合适的配音员。
点击下方的add to voicelab, 把播音员添加到自己的语音库。然后,输入视频脚本,完成语音合成:
“Hi, I‘m Jack Sparrow, a pirate of the Caribbean.”
上传语音文件到Lalamu,点击lipsync选项,实现模拟口型。
最后,测试一下lalamu自带的视频素材,通过多组测试,Lalamu可以准确模拟大部分卡通人物的口型,大家可以自行尝试。然后,测试一下真实人像的模拟效果。
Lalamu可用于制作有趣的短视频和动画,最多支持300字符的脚本。目前,Lalamu仅支持德语和英语,并不支持中文,大家可以在上面网站内尝试。