AI新工具(20240122)Whisper Speech-开源文本转语音系统；Stable LM 2 1.6B-1.6亿参数稳定语言模型；OpenRouter-开源路由器,连接各种AI模型

最新推荐文章于 2024-06-25 01:01:00 发布

go2coding

最新推荐文章于 2024-06-25 01:01:00 发布

阅读量1k

点赞数 11

分类专栏： AI智能工具文章标签：人工智能 whisper 语言模型

本文链接：https://blog.csdn.net/weixin_40425640/article/details/135747251

版权

AI智能工具专栏收录该内容

174 篇文章 25 订阅

订阅专栏

本文介绍了WhisperSpeech，一个开源的文本转语音系统，采用Whisper和EnCodec模型；StableLM21.6B，一款16亿参数的多语言大模型；OpenRouter提供接入多个AI模型的付费接口；以及Honeybee，一个多模态语言模型，支持本地部署。这些工具展现了AI技术在语音合成、模型大小优化和多模态处理上的进展。

摘要由CSDN通过智能技术生成

Whisper Speech-开源文本转语音系统

Whisper Speech是一个开源的文本到语音系统，使用了Whisper和EnCodec等开源模型来生成语义标记和执行语音建模。目前，WhisperSpeech的模型是在英文LibreLight数据集上训练的，但在未来的发布中，他们希望能够面向多种语言。WhisperSpeech采用了Collabora的资助进行代码开发和模型训练，LAION提供了社区建设和数据集支持。该系统的愿景是成为类似于稳定扩散（Stable Diffusion）的语音版本，即强大且易于定制。所有代码都是开源的，因此该模型在商业应用中始终是安全可用的。

Stable LM 2 1.6B-1.6亿参数稳定语言模型

Stable LM 2 - 1.6B是由StabilityAI发布的一个16亿参数规模的大语言模型。相比较常规的大语言模型，这个模型参数仅16亿，可以在移动端运行。但是它的性能效果与几个月前70亿参数规模差不多。该模型支持多国语言，包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。此外，Stable LM 2 - 1.6B在评分上超过了70亿参数的MosaicML的MPT-7B，在MT-Bench得分上也超过了Qwen-1.8B和Phi-2模型。该模型可以免费用于科研和个人目的，但如果要商用，需加入StabilityAI的会员计划，月费用为20美元。超过一定规模的商用需要与官方联系签合同。

OpenRouter-开源路由器,连接各种AI模型

OpenRouter 是一个可以替代官方API的接口网站，提供了OpenAI、Google和Anthropic等模型的付费调用。这些接口的价格与官方网站完全一致，非常良心。具体费用是按照美元计算的，但并没有加价。用户可以通过OpenRouterAI进行简单的使用，支持Streamlit和LangChain，并且接口一致。

honeybee-多模态语言模型预测网络

Honeybee是一种多模态LLM（大型语言模型）的局部增强投影仪，由Junbum Cha、Wooyoung Kang、Jonghwan Mun和Byungseok Roh开发。它使用PyTorch 2.0.1环境，并提供了推理代码、检查点、训练代码、模型动物园和与其他SoTA方法的比较。它还提供了严格复制官方结果的方法，以及推理和演示的示例代码。此外，Honeybee的预训练权重受CC-BY-NC 4.0许可协议保护。