Moshi: 对标 ChatGPT 的开源实时语音模型

最新推荐文章于 2024-09-28 17:45:28 发布
最新推荐文章于 2024-09-28 17:45:28 发布
阅读量156 收藏
点赞数 1
分类专栏： 三花AI 文章标签： chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/142380103
版权


 早在 7 月初就介绍过了，恍如隔世啊，由法国的 AI 实验室 Kyutai 推出的实时语音多模态模型，当时引起了不小的热度。

现如今总算是开源 kyutai-labs/moshi 了，官方的演示还是在 moshi.chat，试用下来没啥太多变化。

三花AI
关注
专栏目录
moshi-moshi:与世界各地的陌生人实时交谈
05-22
与世界各地的陌生人实时交谈。 入门 这些说明将为您提供在本地计算机上运行并运行的项目的副本，以进行开发和测试。 正在安装 克隆Git存储库 git clone https://github.com/nickyvanurk/moshi-moshi.git 安装所需的npm模块 npm install 启动客户端和服务器 npm run start:client npm run start:server 冲浪到 ！ 建于 -Web的实时通信 JavaScript运行时 节点WebSocket实现 这个怎么运作 当客户端准备好与某人匹配时，它将打开一个与Node后端的WebSocket连接。 找到与之匹配的伙伴后，它将通过现在打开的两个WebSocket连接与该伙伴交换所需的WebRTC数据。 一旦交换了所需的WebRTC数据，就将建立对等WebRTC连接，并且两个客户端将能够彼此通信。
Kyutai 开源对话模型 Moshi；李飞飞空间智能公司已筹集超过 2.3 亿美元丨 RTE 开发者日报
声网的博客
09-20 1076
我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。素材来源官方媒体/网络新闻。
Kyutai 推出了 Moshi Chat，这是一种既可以实时收听又可以说话的 AI
weixin_41446370的博客
07-07 974
Kyutai 是一家专注于开放式 AI 研究的非营利性实验室，它推出了开源的 Moshi Chat 项目Kyutai 是一家致力于推进人工智能 （AI） 开放研究的非营利性实验室，其最新创新 Moshi Chat 取得了重大进展。这种尖端的实时原生多模态基础模型代表了人工智能技术的卓越成就。Kyutai 推出的 Moshi Chat 因其令人印象深刻的功能而受到关注，尤其是在同时听和说的领域。与传统的 AI 模型不同，Moshi Chat 旨在理解和表达情感，使与它的交互更加自然和引人入胜。
开源实时多模态AI聊天机器人Moshi，语音对话延迟低至200毫秒！
duoshehuan6005的博客
09-22 795
最近AI圈真是热闹非凡，继Meta发布Llama 3之后，各种开源大模型也是层出不穷。这不，法国一个非盈利AI研究实验室Kyutai，又搞了个大新闻！他们开源了一个叫Moshi的实时原生多模态基础模型，这玩意儿厉害了，它能同时听、说、还能给出回应，就像跟真人聊天一样自然流畅。更牛的是，它还能理解和表达情感，甚至可以用不同的口音说话！是不是感觉有点不可思议？别急，我这就带你好好了解一下这个Moshi。
Kyutai开源实时语音对话模型Moshi
想都是问题，做才有答案～～
09-21 891
Kyutai开源实时语音对话模型Moshi
GPT-4o还没完全开放，Moshi就提前开源了
07-05 524
GPT-4o已经发布有段时间了，但大众迟迟没有等到成型的产品出来，这会的功夫，法国创业团队抢先OpenAI发布端到端实时音频模型——Moshi。单从响应时效上，体验下来应该比GPT-4o还要快，但是音色及语言多样性的支持上，还比较弱。Moshi发布即公开免费使用，打开网站就可以直接进行对话交流。Moshi基本没有延迟，未来也准备开源，简直是为大众谋福利。
开源 复刻GPT-4o - Moshi；自动定位和解决软件开发中的问题；ComfyUI中使用MimicMotion；自动生成React前端代码
haleycat的博客
07-04 1285
总之，Moshi致力于通过先进的技术和优质的服务提升用户的沟通体验。通过以上特性和功能，React AI Assistant Application 提供了一个强大而灵活的平台，以满足不同用户的需求，从而优化数据处理和开发流程。地址：https://github.com/ozgrozer/chatgpt-artifacts/blob/main/readme.md。Agentless 提供了一种高效、自动化的方式来处理软件开发中的各种问题，减少了人工干预的需求，显著提升了开发效率和软件质量。
auto-value-moshi:自动值
05-07
AutoValue：Moshi扩展 Google的扩展，可为每个带有AutoValue的带注释的对象创建一个简单的 JsonAdapterFactory。 用法 只需在您的项目中包含auto-value-moshi，然后使用Moshi的@JsonClass批注注释目标自动值类。 ...
Moshi: a speech-text foundation model for real time dialogue
09-21
Moshi 发行版
moshi-pair-adapter:用于与Moshi配对使用的自定义类型适配器
04-01
Moshi配对适配器 用于与Moshi配对使用的自定义类型适配器。 执照 Copyright 2019 toranoko0518 Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance ...
kotlin moshi room 报错
Cherish
02-05 411
问题1 将kotlin版本从1.3.x 升级到 1.4.2 后，程序编译错误，Build也没有错误信息。 解决 如果APP里有用到Moshi, 那么将Moshi升级到最新版（1.11.0）. moshi-codegen 空指针错误。 implementation "com.squareup.moshi:moshi:1.11.0" implementation "com.squareup.moshi:moshi-kotlin:1.11.0" kapt "com.squareup.moshi:moshi-kot
这款新的 AI 语音助手击败了 OpenAI，成为 ChatGPT 最受期待的功能之一
weixin_41446370的博客
07-06 338
OpenAI 推迟了 ChatGPT 令人印象深刻的语音模式，这让许多 AI 聊天机器人的粉丝感到不安，但他们现在可能已经被挖走了。法国人工智能开发商 Kyutai 推出了一款名为 Moshi 的实时语音 AI 助手。Moshi 旨在通过语音（如 Alexa 或 Google Assistant）与用户提供逼真的对话，但由 ChatGPT 及其竞争对手（在本例中为 Helium 7B 模型）背后的大型语言模型提供支持。
沸腾吧！全球首个开源GPT-4o全面发布原创 6月底，OpenAI宣布推迟发布语音功能和GPT5，7月3日晚，法国一个仅有
zengxiaojian2的博客
07-10 490
然后，又让Moshi假装是一位海盗，去讲述冒险的经历。最后，Moshi还可以用一种低声细语的声音，去讲述《黑客帝国》电影中的情节。值得一提的是，Kyutai 的所有模型都是开源的。Kyutai 团队与 Moshi 进行互动，展示了其在各种说话风格之间无缝切换，以及在角色扮演中迅速化身的创造力。Moshi 支持多流音频，使其能够同时收听和响应，从而实现自然流畅的前后对话，其中中断和重叠的语音很常见。相媲美，但模型要小得多。最后一个展示，主要是角色扮演和剧本演示，讲述星际迷航，指挥官和舰长的探索故事。
探索基于知识图谱和 ChatGPT 结合制造服务推荐前沿
最新发布
知来者逆的博客
09-28 527
随着数字化程度的不断提高，制造业正越来越多地采用数据驱动的方法。特别是，制造系统集成商正在寻找有效的方法来识别新的制造合作伙伴，并通过供应链多样化来降低风险。制造服务知识图谱（MSKG）是为满足这些需求而开发的工具，可为复杂查询提供可靠性和可解释性。文本提取结果表明，由于制造商网站主页上缺乏文本信息，负面类别的数量可能高于正面类别的数量。计算 ROC 曲线和 PR 曲线以显示模型的可靠性。性能。其中，认证提取模型的 AUC-ROC 分数最高，而位置提取模型的性能最低。图 7：ROC 和 PR 曲线。
锤炼核心技能以应对编程革命
thinkers
09-23 651
    一、引言
研究生如何利用ChatGPT帮助开展日常科研工作？
wly476923083的博客
09-28 381
所有的研究，都是在站在巨人的肩膀上进行的，所以必须熟读大量文献，看看别人在研究什么，有哪些问题还没研究，或者已经研究的问题还存在什么缺陷，等等，只有通过阅读大量文献，才能找到自己的idea，才能使科研进行下去。看着满屏的数据，两眼发呆，这数据该怎么分析，我相信很多读研的人都经历过，真是愁死了。ChatGPT就几分钟生成了我想要的PPT，点他给的链接就可以下载下来，我打开一下，它把前面他总结的东西放进去了，给你做了进一步的总结，然后用要点的形式给你罗列，给我们省不少心，直接就可以拿来用，太爽了。
思维链在论文写作中的应用：借助ChatGPT构建完整、清晰的论证
sinat_15688223的博客
09-23 1336
比如，在论文写作中，作者可以输入一个研究问题或主题，ChatGPT能够基于其强大的语言模型，生成相关的背景信息、理论支持和初步论点。接下来，作者可以通过进一步的问题引导，逐步引出更深层次的论点和分析，ChatGPT会根据这些输入提供连贯的推理步骤。例如，在撰写研究假设时，思维链方法可以帮助作者清晰展示推理过程，从提出问题、分析现象到得出假设，每一步都逻辑紧密相连，避免了推理过程中的跳跃性，使假设更为可信。随后，通过与ChatGPT的进一步互动，可以逐步推理出假设的形成过程，展示每一步推理背后的逻辑。
给我讲一下我导入的这些依赖是干什么的// lifecycle implementation 'androidx.lifecycle:lifecycle-viewmodel-ktx:2.4.1' implementation 'androidx.lifecycle:lifecycle-runtime-ktx:2.4.1' //glide implementation 'com.github.bumptech.glide:glide:4.14.2' //retrofit implementation 'com.squareup.retrofit2:retrofit:2.9.0' //retrofit moshi implementation "com.squareup.retrofit2:converter-moshi:2.6.2" //moshi used KotlinJsonAdapterFactory implementation "com.squareup.moshi:moshi-kotlin:1.9.3" //Coroutine implementation "org.jetbrains.kotlinx:kotlinx-coroutines-android:1.6.1" implementation "org.jetbrains.kotlinx:kotlinx-coroutines-core:1.6.1"
06-13
这些依赖是一些常用的 Android 开发库，用于简化和加速 Android 应用程序的开发。下面是每个依赖的功能和作用： 1. androidx.lifecycle:lifecycle-viewmodel-ktx:2.4.1 和 androidx.lifecycle:lifecycle-runtime-ktx:2.4.1：这两个库提供了一组生命周期组件，用于帮助应用程序管理 Activity 和 Fragment 的状态。ViewModel 是其中一个组件，它可以帮助应用程序在旋转屏幕等情况下保持数据的一致性。 2. com.github.bumptech.glide:glide:4.14.2：Glide 是一个流行的图片加载库，它可以帮助开发者在 Android 应用程序中加载图片并缓存它们，从而提高应用程序的性能。 3. com.squareup.retrofit2:retrofit:2.9.0：Retrofit 是一个网络请求库，它可以帮助开发者在 Android 应用程序中发起网络请求并解析响应。 4. com.squareup.retrofit2:converter-moshi:2.6.2：这个库提供了一个将网络响应转换为 Moshi 对象的转换器。Moshi 是一个 JSON 序列化和反序列化库。 5. com.squareup.moshi:moshi-kotlin:1.9.3：这个库提供了一个 Moshi 的 Kotlin 扩展，可以更加方便地序列化和反序列化 Kotlin 对象。 6. org.jetbrains.kotlinx:kotlinx-coroutines-android:1.6.1 和 org.jetbrains.kotlinx:kotlinx-coroutines-core:1.6.1：这两个库提供了一组协程工具，用于简化异步编程。协程可以帮助开发者编写更加简洁和可读的异步代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值