这两个牛逼哄哄的 AI 项目开源了！

最新推荐文章于 2024-07-18 18:43:19 发布

逛逛GitHub

最新推荐文章于 2024-07-18 18:43:19 发布

阅读量460

点赞数 3

文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_47080540/article/details/139432933

版权

本期推荐开源项目目录：

1. ChatTTS：革新对话式文本转语音技术

2. 腾讯AI实验室推出：一键生成逼真口型视频

01

ChatTTS：革新对话式文本转语音技术

ChatTTS 是由 2noise 团队开发的一款专为对话场景设计的文本转语音（TTS）模型。它不仅支持英文和中文两种语言，而且经过了超过 10 万小时的中英文数据训练，表现出色。

ChatTTS的亮点在于其对话式TTS的优化，它能够生成自然流畅的语音并支持多说话人。

此外，模型还能够预测和控制细粒度的韵律特征，如笑声、停顿和插入词等，提供了更好的韵律表现。

它在韵律方面超越了大部分开源TTS模型，并提供了预训练模型以支持进一步的研究。

开源地址：https://github.com/2noise/ChatTTS

代码示例

ChatTTS 提供了基本用法和进阶用法的代码示例，允许用户快速开始使用模型，并进行更精细的控制。

基本用法示例

import ChatTTS from IPython.display 、
import Audio chat = ChatTTS.Chat() 

chat.load_models(compile=False) # 设置为True以获得更快速度 
texts = ["在这里输入你的文本",] 
wavs = chat.infer(texts, use_decoder=True) 
torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)

如下是一个样例：

inputs_cn = """
chat T T S 是一款强大的对话式文本转语音模型。它有中英混读和多说话人的能力。
chat T T S 不仅能够生成自然流畅的语音，还能控制[laugh]笑声啊[laugh]，
停顿啊[uv_break]语气词啊等副语言现象[uv_break]。这个韵律超越了许多开源模型[uv_break]。
请注意，chat T T S 的使用应遵守法律和伦理准则，避免滥用的安全风险。[uv_break]'
""".replace('\n', '')

params_refine_text = {
  'prompt': '[oral_2][laugh_0][break_4]'
} 
audio_array_cn = chat.infer(inputs_cn, params_refine_text=params_refine_text)
# audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)

torchaudio.save("output3.wav", torch.from_numpy(audio_array_cn[0]), 24000)

腾讯AI实验室推出：一键生成逼真口型视频

V-Express 是由腾讯 AI 实验室（Tencent AI Lab）开发的一项创新技术，旨在通过控制一张参考图片、一段音频和一系列 V-Kps（视觉关键点）图像来生成逼真的口型视频。

这项技术通过渐进式训练和条件性丢弃（Conditional Dropout）的方法，平衡了不同控制信号，使得生成的视频能够同时考虑姿势、输入图像和音频。

比如说你只有一张泰勒斯威夫特的静态照片，只需要再给模型输入一段音频、视频关键点，这个模型就能生成逼真的口型视频。会将音频中的内容读出来。

上传个图片