如何实现在线KTV「实时合唱」技术？【内附源码/Demo】

已于 2022-03-25 06:54:02 修改
阅读量2.2k 收藏 1
点赞数
分类专栏： 解决方案 音视频开发 文章标签： 实时音视频 实时互动
于 2022-03-21 07:37:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZEGO123/article/details/123491092
版权

2021，你还欠谁一场演唱会门票？

2022，你听过云上演唱会吗？

线上开唱，云听歌。

3个月前，西城男孩（Westlife）“所爱越山海”全球首场线上直播演唱会，粉丝在线洒泪：爷青回！一首中文版《平凡之路》，开口的一瞬间，粉丝们被瞬间点燃，在线听众超2000万，获赞超1.3亿。

随后，五月天'好好好想见到你'22年跨年演唱会，有开场嘉宾杰伦的加持，关注值直接被拉满，3小时超1676万人观看，3201万点赞，10亿巨量话题全民刷屏。

将“音乐演出新方式”推向大众，制造了全民现象级活动，一起刷屏的还有：线上直播和流媒体平台的便捷性。

基于技术赋能，实时交互等性能加速发展，线上音乐新模式打破时间、空间限制，打造出：平行的、高品质、高水准的直播演出模式。

受疫情因素刺激，催生了多种在线音乐新玩法：云上蹦迪，云上音乐节，云上演唱会，在线KTV...

ZEGO提供的 音乐版权 + 实时合唱 的一站式在线KTV解决方案，解决了线上唱，互动听歌的需求。

『超硬核』，即构实时合唱克服技术挑战

即构凭借在音视频领域多年的技术积累，克服了多个挑战，完成了实时合唱方案的落地。

端到端的感官延迟低至70ms

本质上，实时合唱效果可以通过极低延迟的RTC技术实现，我们需要将一端的歌声用最小的耗时传送到对端。

我们将整个过程进行拆解，针对每个环节做以降低延迟为首要目标的优化，包括采集渲

最低0.47元/天 解锁文章
博客
即构 UIKits 重磅发布！兼备高效开发与自定义UI
07-30 834
核心功能：呼叫邀请、高清画质、通话布局、成员列表、实时文本聊天等。最快30分钟集成语音连麦功能，助力搭建深度社交的语聊房APP，实现趣味语音玩法，促进用户留存。通过广泛与开发者交流发现，对于追求快速实现音视频通话功能的开发者而言，如果要实现完整的互动场景，：多SDK集成难度高、开发流程繁琐、场景方案复杂，上线周期长，通常项目周期需以月计。基于场景化最佳实践，整合RTC、IM、直播、美颜等多款产品，打造了。，轻松实现1V1、多人通话、直播、语聊房等多样的实时互动场景。等多个实时互动场景的实践应用。
博客
“码”力全开！高效开发就靠这款神器
07-29 1033
它内置超过50个丰富的UI组件，支持组合多个 UIKit 搭建通话 + 直播等互动场景，还提供了 AI 美颜等高级功能，实现了即插即用的灵活性。无论是1V1通话场景中呼叫邀请、低延迟需求，还是直播场景中的PK连麦、虚拟礼物赠送，开发者都能通过即构 UIKits 灵活组合快速实现，满足各种应用场景需求。如下图所示，许多厂商的场景化SDK仍处于初级阶段，其中部分产品仅是多个SDK的简单聚合，未针对业务逻辑和场景能力进行深度整合和优化。即构致力于帮助客户快速打造实时互动应用，为不同的互动场景提供最优的解决方案。
博客
如何在uni-app 平台快速实现一对一音视频通话应用
04-13 2万+
“一套代码，多端运行”是很多开发团队的梦想。ZEGO SDK基于uni-app跨平台框架支持iOS、Android、Windows、macOS、HarmonyOS、Web、小程序并支持平台间互通，快速实现搭建多端音视频通话，大大降低开发和学习成本。本文将引导快速创建和运行第一个uni-app+RTC项目，适合想要快速完成多端共用音视频项目的开发者；...
博客
音视频常见问题（七）：首开慢
11-03 818
对于音视频开发者来说，掌握排查问题的技术技巧方法是非常必要的，排查问题的技术方法也能够帮助开发者更好地了解音视频技术的原理和工作机制，从而更加深入地理解音视频开发中遇到的各种问题。即构基于多年实时互动领域技术的沉淀和客户服务保障，我们将推出《音视频技术常见问题FAQ》系列文章，将音视频技术领域的常见问题和经验分享出来，同时会针对具体问题附上业务通识和常用解决方案以及案例经验，希望本系列能成为你手边的音视频通识册子，帮助到开发者们快速定位问题并找到合适的解决方案。视频卡顿延时高音画不同步视频花屏、绿屏。
博客
音视频常见问题（六）：视频黑边或放大
10-27 1436
本文介绍了视频黑边或放大的原因和解决方案。主要原因包括视频分辨率与显示视图尺寸不一致、摄像头采集、美颜滤镜格式兼容和分辨率。为了解决这些问题，开发者可以选择合适的渲染模式、动态调整分辨率、处理视频旋转和使用自定义视频渲染。即构音视频SDK提供了强大的工具和灵活性来解决视频放大或黑边问题，开发者可以查阅官方文档或向技术支持寻求帮助获取更多建议和技巧。
博客
音视频开发常见问题（五）：视频黑屏
10-26 1332
对于音视频开发者来说，掌握排查问题的技术技巧方法是非常必要的，排查问题的技术方法也能够帮助开发者更好地了解音视频技术的原理和工作机制，从而更加深入地理解音视频开发中遇到的各种问题。即构基于多年实时互动领域技术的沉淀和客户服务保障，我们将推出《音视频技术常见问题FAQ》系列文章，将音视频技术领域的常见问题和经验分享出来，同时会针对具体问题附上业务通识和常用解决方案以及案例经验，希望本系列能成为你手边的音视频通识册子，帮助到开发者们快速定位问题并找到合适的解决方案。视频卡顿延时高音画不同步。
博客
音视频开发常见问题（四）：视频花屏和绿屏
10-25 1477
本文介绍了视频视频花屏/绿屏问题的常见原因，如**丢失关键帧、metadata的变化、硬件编解码的兼容性问题和颜色格式不一致问题**。以及排查方法和解决策略，包括检查视频数据格式、排查自采集/自渲染模块问题、联系第三方音视频SDK技术支持等。最后，还介绍了即构 SDK的解决方案，包括自适应采集策略和适配3000+种视频采集设备等功能点，以确保视频通信的高质量和稳定性，有效地避免了视频花屏和绿屏问题。
博客
音视频FAQ（二）视频直播延时高
08-24 2823
延时高是实时互动技术中常见的问题之一，解决延时高问题需要综合考虑网络、设备、编解码算法等多个因素。解决方案包括优化设备端延时、优化网络传输延时和使用UDP进行音视频传输等。在选择音视频传输协议时，需要综合考虑实际需求和网络条件，选择最适合的协议。本文介绍了延时高的原因和解决方案，希望对音视频开发者能够有所帮助。
博客
音视频FAQ（一）：视频直播卡顿
08-18 1933
本文介绍了视频直播卡顿的四个主要原因，用户网络问题、用户设备性能问题、技术路线的选择和实现问题。因本文主要阐述视频直播的卡顿，故技术路线的实现指的是：CDN供应商的实现问题，包含CDN性能不足、CDN地区覆盖不足。对于每个原因，提供了初步判断和进一步诊断的方法和技术工具，并列出了关键性能指标以帮助诊断和解决问题。本文全面介绍了导致视频直播卡顿问题的三个主要原因：用户网络带宽不足、用户性能不佳、CDN供应商问题。为了帮助开发者解决这些问题，还提供了初步诊断和高级技术工具和技术，可以用来识别和解决各种问题。
博客
音视频FAQ（三）：音画不同步
08-17 2347
本文介绍了音画不同步问题的五个因素：编码和封装阶段、网络传输阶段、播放器中的处理阶段、源内容产生的问题以及转码和编辑。针对这些因素，提出了相应的解决方案，如使用标准化工具、选择强大的传输协议、自适应缓冲等。此外，介绍了第三方音视频服务商如即构的解决方案，包括优化的编解码器、动态码率调整、前向纠错和包重传等。最后，强调了开发者需要密切监控应用性能并与音视频服务提供商合作，以确保最佳的音画同步体验。
博客
即视角｜出海资本热土——印尼市场洞察（下）
07-14 505
出海企业的1V1产品占印尼1V1产品总量的60%，海外占40%，相较于去年东南亚市场的状态，1v1音视频和语聊房场景已不再是为直播产品巩固用户留存的一个手段，1v1的私密房间是建立关系的重要场景，可减少关系链的流失，厂商在1V1产品已经可以独立完成社会关系的沉淀，沉淀下来的社交关系足以巩固用户留存与变现。印尼下载Top100的元宇宙产品可分为两类，一类是出海服务商Uplive、Soul，这类主打社交的产品，元宇宙是其后期添加的功能，是厂商在积累了一定的用户量之后，用来迭代现有玩法，激活现有流量的一个手段。
博客
即视角｜出海资本热土——印尼市场洞察（上）
07-13 344
共享即构新洞察，共建行业新动能——ZEGO即构科技基于音视频技术领域的多年深耕，综合面向各行业的服务经验，在【即视角】栏目发布即构对行业的洞察。
博客
即视角｜出海正当时：欧美、东南亚、中东、拉美市场观察
06-21 575
在出海企业中，业绩最亮眼的是字节跳动，2021年它在海外市场迎来新的里程碑。目前，全球开放式社交市场以美国和中国企业为主，知名的美国社交公司包括Match Group、Bumble、Spark Networks等，中国社交企业是全球开放式社交的重要玩家，市场参与者包括欢聚时代、Yalla、赤子城等，中国公司在市场份额上正在逐渐追赶海外企业。拉美地区的互联网受众非常年轻，2021 年的人口数据显示，巴西的互联网受众平均年龄为 33 岁，比美国的平均年龄低 5 岁，Z世代用户将成为拉美市场未来的消费主力。
博客
技术科普｜（一）虚拟人技术原理
06-15 1418
本文作者来自即构开发者社区@ Daniel 投稿，为我们分享时下热门的数字人技术。IDC 预计，到 2026 年，中国 AI 数字人市场规模将达到 102.4 亿元。开发者有必要对数字人技术有完整的认知和理解。
博客
即视角｜元宇宙社交：新瓶旧酒 or 老树新芽？
04-13 632
相较于中国，海外NFT领域的行业土壤更加滋润，海外NFT行业依靠二级市场交易刺激行业壮大，大部分NFT在以太坊之类的区块链公链上发行，便于交易，海外成功NFT项目数量较多，且资本热度居高不下，例如IMVU mobile、Horizon Worlds、Dencentraland、Sandbox等元宇宙NFT产品通过虚拟化身体来体验多样的沉浸式社交场景，在接近真实的数字空间利用数字资产建立社交链接积累社交资产，打造经济体系。潮水退去，元宇宙市场逐渐冷静，在一片叫好和唱衰声中，元宇宙仍在创造投融资新高。
博客
WebRTC｜用QOS技术做音视频质量性能优化
03-24 7158
随着GPT-4的发布，AI的风越吹越旺。GPT-4可以回答问题，可以写作，甚至可以基于一张草图生成html代码搭建一个网站。即构社区的一位开发者@倪同学就基于目前在研究的WebRTC QOS技术点对GPT-3.5跟GPT-4进行一场实验，ChatGPT会取代程序员还是成为最强辅助？
博客
音视频进阶教程｜如何实现游戏中的实时语音
10-21 1165
范围：收听者接收音频的范围。方位：指收听者在游戏世界坐标中的位置和朝向，详情可参考5.5 初始化设置中的“步骤 1”。收听者：房间内接收音频的用户发声者：房间内发送音频的用户。
博客
音视频进阶教程｜实现直播间的自定义视频渲染
10-20 1620
自定义视频渲染指的是 SDK 向外部提供本地预览及远端拉流的视频帧数据，供用户自行渲染。App 使用了跨平台界面框架（例如 Qt 需要有复杂层级关系的界面以实现高体验的交互）或游戏引擎（例如 Unity3D、Cocos2d-x 等）。App 需要获取 SDK 采集或拉流的视频帧数据进行特殊处理。请参考下载示例源码获取源码。
博客
音视频进阶教程｜实现直播SEI补充增强信息
10-19 2046
在音视频流媒体应用中，除了可以流媒体通道推拉音视频内容外，还可以使用流 SEI（Supplemental Enhancement Information，媒体补充增强信息）通过流媒体通道将文本信息与音视频内容打包在一起，从主播端（推流端）推出，并从观众端（拉流端）接收，以此实现文本数据与音视频内容的精准同步的目的。一般可用于视频画面的精准布局、远端歌词同步、直播答题等应用场景。SEI 的相关概念及原理请参考如何理解和使用 SEI（媒体补充增强信息）。
博客
元宇宙技术教程｜如何一键生成虚拟人视频
10-18 1902
如果设置了对象的为 true，SDK 会使用内置的麦克风采集模块采集声音。内置的采集模块在设备兼容性上有所欠缺，ZEGO 推荐开发者使用 Express SDK 进行音频采集，请参考自定义音频采集与渲染。开发者需要调用接口，设置自定义音频数据采集代理（需要继承实现onStart和onStop方法）。采集到音频数据后，调用接口，发送数据。如果录制视频的同时，也开起了“语音驱动”，且语音驱动也已开启“自定义音频采集”，则接口只需设置一次即可，SDK 会进行复用，无需重复设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值