声网的博客

“成语解谜”是一个基于互动白板 SDK 的互动小游戏应用。通过前端编码、调用白板 API 能力、定制化后端逻辑等，实现了一个老少咸宜、寓教于乐的成语解谜游戏。

我们怎么才能在元宇宙的场景中互相交流，在排队中推杯换盏？下面跟我们一起走进一个场景内，看看整个元宇宙是如何活起来的。

热爱前端开发、关心音视频领域发展、希望进入音视频行业、乐于和大家一起交流成长的小伙伴，通过「开发者漫游指南」与社区共同成长，帮助更多的开发者在实时音视频领域取得进步。

RTC（实时音视频）从 Communication 的视角，更多是在强调对语义信息进行高质量和高效率的传递。而 RTE（实时互动）更聚焦用户所需要的共享时空，即俗话所说的场景。

利用人工智能、音视频传输技术、智能硬件等为他们提供一套音视频领航服务方案，协助他们在熟悉周边环境、道路导航、辅助食品/药品辨别等场景下更从容、更舒心。

高清直播逐渐普及，硬编码也成为大势所趋。在 RTE 2022 大会上，来自 NETINT 的 Jan Ozer 通过一系列的对比测试结果，详细分享了如何为高清直播互动场景进行硬编码的技术选型。

AEC 算法面临的主要问题是如何有效的分理处近端声音，目标是提升回声抑制，改善近端声音保真度。

一年以来，在疫情及诸多综合因素的推动下，元宇宙、无人驾驶、 IoT、电商直播等行业迎来井喷式发展，RTE 实时互动技术也在越来越多的场景中发挥着关键作用。

使用声网 SDK 和 UIKit 创建视频推流应用非常简单，而且声网还有许多功能，可以提高视频通话的质量和便利性。

GGBOT 团队使用 flutter+Go 作为框架语言，深度使用了声网 RTC 技术，进行 Token 鉴权、云端录制、频道管理；借助环信 SDK 技术实现账号注册、聊天室创建与维护、房源群组等相关功能。

直播观赏联动灵感，支持多屏联动观看，观众可以同步观看多房间内容，观众在进入 A 主播房间后，自动开启上帝视角，可以观看所有此局游戏中所有已开播玩家的视频流。

4.0 SDK 的 API 与功能采用了分层设计，可满足不同开发者的差异化需求：对于仅需要实现音视频实时互动的简单场景的开发者，只需要通过几个 High level AP 即可

在语音识别重建、音效声场重现、数字音频通信等方面，积累了很多自己的音频技术专家和学者，已经逐步缩小和西方的技术差距。

声网视频 SDK 被广泛应用于多种实时互动场景中，例如视频会议、视频通话、音视频社交、在线教育等。

音频技术发展到今天，经历了从模拟音频到数字音频到历程。国际音频工程师协会创建于 1948 年，中国数字音频技术起步相对较晚，长期被国外组织和公司垄断。

适合技术创业的产品有个共性 —— 「切入点很小，展开面很大」，而互动白板在大家的认知中，正是一个看起来很小并且似乎没什么技术门槛的领域。

在实时互动场景中，视频画质是影响观众体验的关键指标，但如何实时评价视频的画质一直是个行业难题，需要将未知的视频画质用户主观体验变成可知。

实时互动作为下一代基础技术能力，正在支撑并推进着人、物及空间之间创新的沟通和交互方式。

本文将演示如何通过声网视频 SDK 在 Android 端实现一个视频直播应用。

本文将教你如何通过声网Agora 视频 SDK 在iOS端实现一个视频直播应用。注册声网账号后，开发者每个月可获得 10000 分钟的免费使用额度，可实现各类实时音视频场景。

在现在很多的线上实时互动场景中，我们重视的不仅仅是互动体验，还要提升沉浸感。而在很多场景中，仅凭空间音频技术，就可以带来如临其境的体验。空间音频技术的原理是怎样的呢？

一起探索创新，共建新技术、新产品、新场景

在与开发者长期的沟通中，我们发现，尽管声网为开发者提供了丰富翔实的 SDK 技术文档，但对于初次接触声网 SDK 的开发者来说，在第一眼看到文档的时候，可能会被大量新概念和复杂的 API 接口淹没。

视频群聊、在线社交、电商带货、游戏竞技.......越来越多的场景融入了直播这一功能。无可厚非，直播可以拉近人与人间的距离，让彼此间的交流更具象。

本文将教你如何通过声网Agora 视频 SDK 在 Android 端实现一个视频通话应用。声网 SDK 每个月会提供 10000 分钟的免费使用额度，可实现各类实时音视频场景。

声网近期发布了“MetaChat 元语聊”、“MetaKTV”解决方案，致力于提供一种全新的元宇宙互动社交、K 歌方式，其中都提到了“3D 空间音频”这项核心技术，对提升玩家沉浸感与听觉体验发挥了关键作用。

声网自研的 Agora Lipsync（唇音同步） 技术是如何实现无需打开摄像头，无需面部捕捉技术，只需上传一张/多张人脸头像就可以通过说话人的语音音频信号，就能驱动静态人脸头像的嘴部运动。

云计算的出现为企业的管理、业务开展、资源整合等带来了极大的便利性，也是数字化建设的核心基建之一，然而局部宕机或者大面积宕机事件对于云厂商来说却也无法避免，全球领先的计算平台也不例外。例如，美国东部时间12月7日上午10点45分，亚马逊 AWS 遭遇宕机，导致了迪斯尼+、奈飞等一些网站的在线服务受到影响，此次故障也在业内引发了较大的关注。之所以说云厂商的宕机故障无法 100% 避免，核心在于造成的原因有很多种，例如人为失误、网络中断或者区域性网络拥塞、停电、自然灾害等，作为云厂商，能做的就是不断优化技术与服

“运气是设计的残留物。”——John Milton如果玩过《全面战争：中世纪 II》，或者读过 John Milton 书的人，可能对这句话有印象。我们发现，很多小伙伴从疫情时期开始了解音视频行业，虽然对音视频很感兴趣，看了很多相关公众号和文章，还是没能成功入门。可能是因为内容零散不成体系，可能是因为没有上手实践，也可能是因为没时间没人督促渐渐就忙了、忘了、放弃了。正如 John Milton 所说，系统性学习一个新的门类，除了有高质量的结构化知识之外，也需要有“导师”及“伙伴”的引导及陪伴，才能..

本文作者是本届 RTE 2021 创新编程挑战赛获奖者，来自上海交通大学的李新春。他分享了本次参赛作品的构思、系统设计和开发的心得。01 不得忽略的背景从国家层面上讲，十四五期间我国人工智能发展的方向之一是：基于 AI 硬件的新产品设计及平台将成为主流。当前，人工智能解决方案正由“软件”模式转变为“软件+硬件”模式。随着智能计算芯片与系统、新型多元智能传感器件与集成平台等新一代人工智能基础支撑平台日渐成熟。以 AI 硬件为基础，在“端+云+芯片”协同发展的背景下，产品的感知、理解、推理和决策能力将实现突

由声网Agora 与环信联合主办的“RTE 2021 编程挑战赛”已圆满落幕。在今年的大赛中，来自行业中不同领域的专家参与了决赛评选，包括 Linux 中国技术社区技术负责人 白宦成、声网Agora 资深 iOS 开发工程师 龚宇华、北京音视跳动首席架构师兼讲师 李超、SegmentFault 思否 CTO 祁宁、环信 CTO 赵贵宾、声网Agora Web 研发工程师 张乾泽、声网Agora SDK 资深架构师 章真。参赛作品得到了来自不同视角的评价。我们也找到了几位评委，跟他们聊了聊他们印象深刻的创新

线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联合 InfoQ 共同策划，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文源于

全球实时互动云服务开创者和引领者声网Agora（纳斯达克股票代码：API）宣布其视频 SDK 现已集成到领先的 VR/XR 远程协作及会议应用 HTC VIVE Sync App 中。通过集成声网Agora 的视频 SDK，HTC VIVE Sync App 可以支持 HTC VIVE 用户和非 VR 用户在同一虚拟环境中进行更紧密无缝的远程协作，用户在不需要穿戴 VR 设备的情况下也能够与其他 VR 用户共享沉浸式体验。此外，用户也可以在协同环境中实现屏幕及文档共享，让所有参与者都可以更方便、快捷地感

2021年6月10日，HTC VIVE 在北京举办以“融合·至界”为主题的新品体验会暨开发者客户大会。近 300 位 XR 行业精英齐聚一堂，共同见证了 HTC VIVE 全能 VR 一体机 VIVE FOCUS 3、革新专业级 PC-VR VIVE PRO 2 的首次公开亮相；并带来多个优秀的前沿应用案例，展示 XR 行业技术的最新动态与杰出成就。声网Agora 作为首批加入 HTC VIVE ISV 合作伙伴计划的企业之一，受邀出席大会并围绕 ISV 合作伙伴计划、VR/XR、实时互动等话题进行了深入分

6月5日，声网Agora 联合人人都是产品经理在成都举办了主题为“社交泛娱乐APP运营增长力和新玩法解析”的沙龙。现场围绕社交泛娱乐新玩法解析以及出海的新机遇、支付痛点、增长、运营等多个环节深入探讨，干货满满。现场吸引了100多位成都本地的社交泛娱乐领域从业者参会。本次沙龙共邀请到声网Agora 社交泛娱乐产品专家高圣恺、Airwallex 商务总监Raven Liu、亚马逊云科技-四川泛娱乐行业业务拓展总监王磊、AdTiming 总裁助理，前Camera 360海外市场总监闫雯四位嘉宾分别就实时互动玩转

今天，我们将会一起开发一个包含 RTE （实时互动）场景的 Flutter 应用。项目介绍靠自研开发包含实时互动功能的应用非常繁琐，你要解决维护服务器、负载均衡等难题，同时还要保证稳定的低延迟。那么，如何才能在较短的时间内，将实时互动功能添加到 Flutter 应用中？你可以通过声网Agora SDK 来进行开发。在本教程中，我将带大家了解如何使用 Agora Flutter SDK 订阅多个频道的过程。（多频道是什么样场景呢？我们稍后举些例子。）开发环境网页访问 Agora.io，注册一个Ag

线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联合 InfoQ 共同策划，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文作者

本人从一位测试的角度出发，基于目前项目中摄像头的直播和语音对讲业务，正寻求音视频的质量测试及一些监控分析手段。工作中发现达到一定的并发程度之后，就会出现延时、卡顿、丢帧、马赛克等问题。所以最近在网上看看专家的直播和专栏，学习一下行业内的好的测试方法。这不，前几天有幸参与了声网的音频算法工程师赵晓涵的关于《实时语音质量监控系统的过去、现在和未来》的在线直播和讨论。本次直播旨在介绍一下声网实时语音质量监控系统的进展，并和大家交流了一下未来的演化方向。整理了一下，本次直播主要的内容主要涵盖了以下几个模块：.

大家好，我是 cv 君，涉猎语音一段时间了，今天提笔浅述一下语音的传输前后，质量如何过关，也就是说，怎么评价我们语音的质量，比如麦克风等声音设备等等。我们在语音质量方面，有三种全局上的评价方法：有参考客观评价方法，有参考客观评价方法，主观评价方法。那么我们细分到他的子类，就会有很多使用的算法与评价思路。语音质量极其重要，能够让聊天的你我免受一些噪声的烦扰，能够让部队军方的通信更可靠，能够让每逢佳节倍思亲，与家人通电话时重温那久违，真实，亲切的话语和音色。我们过去是怎么评价的？主观评价研究主要可以.

我们知道 Camera 采集回传的是 YUV 数据，AudioRecord 是 PCM，我们要对这些数据进行编码(压缩编码)，这里我们来说在 Android 上音视频编解码逃不过的坑-MediaCodec。MediaCodecPSMediaCodec 可以用来编/解码 音/视频。MediaCodec 简单介绍MediaCodec 类可用于访问低级媒体编解码器，即编码器/解码器组件。 它是 Android 低级多媒体支持基础结构的一部分（通常与 MediaExtractor，MediaSync，M