AI语音合成工具-Lalamu Studio

LalamuStudio的beta版测试中展示了其强大的TTS和lipsync功能,用户可以为视频添加AI合成的语音和精确的口型同步。它支持多种操作,包括真人动画和动画制作,但暂不支持中文且高清输出需后续升级。
摘要由CSDN通过智能技术生成

近期,Lalamu Studio开启了beta版本测试:Lalamu Studio。该工具整合了TTS和lip sync功能,可以让任意视频中的人物开口说话,并精确模拟口型。

例如,选择一段视频素材,添加由Ai合成的语音,即可完成实时播报和唇形同步。点击上面链接,访问Lalamu Studio。左侧可以合成语音,完成唇形同步。

选择一段动画,在左侧对画框中添加视频脚本,在下方选择一个播音员,点击生成音频,完成语音合成后,点击下方的Generation,开始合成视频。为了节省算力,Lalamu Studio并未提供高清视频输出。不过,从生成的动画可以看出,人物的口型可和语音完全相符。

然后,选择一段真人动画,测试一下口型模拟的效果。Lalamu Studio还处于测试期,正式上市后,将会支持高清输出。Lalamu Studio还将推出多人物语音合成和编辑功能,让视频剪辑变得更有趣。

简单的了解了Lalamu Studio,我就为大家演示如何使用来Lalamu Studio为动画合成语音。

首先,使用任意工具,生成一张TINKERBELL的图像。登录Pikalabs:Pika,

输入 a pirate of the Caribbean提示,生成一段几秒钟的短视频,并保存到本地。返回Lalamu Studio,上传制作好的短视频。下一步,登录TTS语音合成网站Elevenlabs:Text to Speech & AI Voice Generator – ElevenLabs,点击voice library选项,从社区中选择一个合适的配音员。

点击下方的add to voicelab, 把播音员添加到自己的语音库。然后,输入视频脚本,完成语音合成:

“Hi, I‘m Jack Sparrow, a pirate of the Caribbean.”

上传语音文件到Lalamu,点击lipsync选项,实现模拟口型。

最后,测试一下lalamu自带的视频素材,通过多组测试,Lalamu可以准确模拟大部分卡通人物的口型,大家可以自行尝试。然后,测试一下真实人像的模拟效果。

Lalamu可用于制作有趣的短视频和动画,最多支持300字符的脚本。目前,Lalamu仅支持德语和英语,并不支持中文,大家可以在上面网站内尝试。

  • 8
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!对于腾讯云的语音合成服务,您可以使用其提供的 API 进行一段文本合成语音。具体步骤如下: 1. 登录腾讯云控制台,并创建一个语音合成应用。 2. 获取 API 密钥,包括 SecretId 和 SecretKey。 3. 在您的应用中,使用腾讯云提供的 API 进行调用。可以使用 HTTP POST 请求方式,将待合成的文本作为参数传递给 API,并将返回结果保存为音频文件。 以下是一个使用 Python 调用腾讯云语音合成 API 的示例代码: ```python import requests import hashlib import time import random secret_id = 'YOUR_SECRET_ID' secret_key = 'YOUR_SECRET_KEY' app_id = 'YOUR_APP_ID' text = '待合成的文本' def get_signature(app_id, secret_id, secret_key, expired): now = int(time.time()) rdm = random.randint(0, 999999999) plain_text = 'a={}&b={}&k={}&e={}&t={}&r={}&u={}&f={}&s={}'.format( app_id, 'tts', secret_id, expired, now, rdm, '', '0', '1') m = hashlib.md5() m.update(plain_text.encode()) signature = m.hexdigest() return signature def generate_tts(text): url = 'https://tts.cloud.tencent.com/stream' expired = int(time.time()) + 86400 signature = get_signature(app_id, secret_id, secret_key, expired) payload = { 'a': app_id, 'b': 'tts', 'k': secret_id, 'e': str(expired), 't': str(int(time.time())), 'r': str(random.randint(0, 999999999)), 'u': '', 'f': '0', 's': '1', 'tex': text.encode('utf-8'), 'sign': signature } response = requests.post(url, data=payload) if response.status_code == 200: with open('output.mp3', 'wb') as f: f.write(response.content) print('语音合成成功!音频文件已保存为 output.mp3') else: print('语音合成失败!错误信息:{}'.format(response.text)) generate_tts(text) ``` 请将示例代码中的 `YOUR_SECRET_ID`、`YOUR_SECRET_KEY`、`YOUR_APP_ID` 和 `待合成的文本` 替换为您自己的实际信息。执行该代码后,将会在当前目录下生成一个名为 `output.mp3` 的音频文件,即为合成后的语音。 希望能对您有所帮助!如有任何问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值