声网的博客

随着编码技术、设备能力的迭代，应用场景对视频分辨率、帧率、色彩还原提出了更高的要求。声网 RTC 在 UHD 视频 4K60FPS、HDR 方面做了一些工程实践和探索，主要应用在教育双师、高端会议、体育运动等场景。下面我们介绍下声网 UHD 视频的技术支撑，探讨下 4K60FPS、 HDR 产品化上遇到卡顿、设备适配相关的典型问题。

在 RTE 的应用越来越广泛的今天，由于 RTE 的场景有其特殊的要求，传统的编解码标准不能够很好的适应 RTE 的场景的要求。我们相信随着 RTE 的应用越来越广泛，那么新的编解码标准在制定的时候，就不可避免的需要考虑 RTE 的新需求，创造出一个新的 RTE 的视频编解码标准。

新一代渲染引擎，瞄准的已经远不止是游戏市场，元宇宙、车机、XR 等平台和应用场景都将以渲染引擎为基础设施来构建内容，这恰恰要求实时渲染引擎具备更强的适配能力和伸缩性，确保在不同条件的硬件平台上都可以获得高质量的画面表现和运行速度。

“成语解谜”是一个基于互动白板 SDK 的互动小游戏应用。通过前端编码、调用白板 API 能力、定制化后端逻辑等，实现了一个老少咸宜、寓教于乐的成语解谜游戏。

从 RTC 的视频、推流、录制、鉴黄的基础能力，到 RTE 的灵动课堂、互动游戏、一起 KTV、空间音频、AI 声纹等等。

随着深度学习技术的发展，编码器的结构在构建神经网络中成为了热门之选，在计算机视觉领域有众多成功案列。

RTC 技术和多媒体实时处理技术向来以高复杂度著称，而在 web 平台上由于性能和可扩展性问题，其所受的制约尤为明显，但新一代媒体处理与通信的标准，为 Web 多媒体处理和传输技术的发展开启了崭新的局面。

其实创业跟独立开发是一样的，我们可能会经历类似爬坡的时刻，也会遇到震荡的时刻，在这个过程中，我们需要熬到拐点。

实时交互的前景肯定是巨大的，因为以前别说视频，就连看一张图片都非常奢侈，基本上都是依靠文字交互，而且也是通过离线方式，现在听起来可能是天方夜谭，所以信息交互一定是向越来越的高维度发展的。...

本文基于海康威视桌面端技术专家刘晓伦在「**RTC Dev Meetup • 杭州站丨大前端时代的业务架构和跨端实践**」活动中分享内容二次整理。

我们每个人在生活中都可能会有各种各样的创意与想法，我会在分享中先和大家梳理下我们如何激发创意和想法，以及如何通过一些方法和工具实现创意的快速落地。

本文介绍如何通过 Agora SDK 在 Windows 平台快速实现互动直播。互动直播和实时通话的区别就在于，直播频道的用户有角色之分。你可以将角色设置为主播或者观众，其中主播可以收、发流，观众只能收流。

本节介绍如何创建项目，并将 Agora SDK 集成至你的项目中。

本文是声网Agora 与 RTC 开发者社区共同发起的 Dev for Dev（Developer for Developer）互动创新实践活动的开篇，同时也是开源技术爱好者在一线工作中的真实记录。

本文整理自声网Agora SD - RTN 网络传输质量负责人于涛在 RTE2021 实时互联网大会上的演讲分享。他在演讲中针对传统 OPS 痛点、AI OPS 的优势以及 AI OPS 工程化的难点进行了全面的分析，并分享了声网研发团队关于 AI OPS 落地实践过程中的宝贵经验。

本文是声网Agora 音频技术团队出品的特殊场景下的音频测评系列文章──AI降噪篇。由于业界对于音频的评价标准尚存在不同的意见，因此声网Agora 的实践更偏重从有参到无参的工程化落地，在此抛砖引玉、恳请业界同仁多加批评指正。

本文整理自 OPPO HDR 研发负责人熊磊，在 RTE2021 实时互联网大会上的演讲。他通过介绍 HDR 视频标准与生态、关键技术、发展方向三部分，分享了在移动端 HDR 视频的落地情况以及技术细节。

开发者其实很多时候都非常向往开源，开源领域的大佬也特别多，我们谈不上有多资深，也是一边探索一边做。同时，也希望可以借这次机会把我们摸索到的一些经验分享给大家。

——声网全链路加速 FPA 在跨国跨区网络加速的食用指南跨国跨区的网络服务质量难题对于小微企业、独立开发者或个人站长而言，保证自己的业务或网站能够访问流畅、服务稳定是一件颇具挑战性的工作，尤其是所涉业务包括电子商务、游戏等对实时性有要求、对于延迟敏感时，其用户满意度尤为重要。倘若自己的用户群分布广泛、存在跨国跨区的地域特征，采用传统 CDN 难以满足业务需求、借助云基础设施自建链路加速的成本和复杂度都要求较高。当跨地域的用户在访问时网络体验不佳，会严重制约上述组织和个人的业务发展。为了解决上述问题，许

全链路加速 FPA 基于声网的软件定义实时网络 SD-RTN™，通过覆盖全球的多点端到端传输优化，全面提升了包含最后一公里（Last Mile）在内的全网传输性能和可靠性，并通过“云”和“端”的高效协同优化，为企业的应用加上网络 QoS 保障。

当前业务全球化成为了众多主流互联网公司的核心战略。内容型业务也成为全球化的热点，在中国企业的出海潮中也有很多体现。在以内容为潮流的出海互联网企业中，游戏、直播、在线教育、泛娱乐、办公协作成为企业的热门选项。

图：CSDN记者体验用灵动课堂15分钟搭建在线课堂**图：CSDN 记者用灵动课堂搭建在线课堂的过程

声网“水晶球”是声网基于实时通信全链路数据，提供的全周期质量监测、回溯的自主数据分析工具，可以帮开发者及时发现问题，定位原因，并高效解决问题，以提升客户的运营效率和用户的体验。近期，声网“水晶球”上线了一项重要升级——“数据洞察”功能进入正式版，不仅数据指标与 XLA 对齐，并且功能与通话调查打通。目前，声网水晶球也是业界率先上线“数据洞察”功能的实时通信数据分析工具。用户可通过“数据洞察”最快可回溯 6 小时前整体业务用量和质量数据趋势，并掌握每一分钟的质量变化。什么是“数据洞察”？每个企业每天.

RTSP 是 Internet 协议规范，是 TCP/IP 协议体系中的一个应用层协议级网络通信系统。专为娱乐（如音频和视频）和通信系统的使用，以控制流媒体服务器。该协议用于在端点之间建立和控制媒体会话。媒体服务器的客户端发出 VHS 样式的命令，例如：PLAY、PAUSE、SETUP、DESCRIBE、RECORD 等等。以促进对从服务器到客户端或从客户端到服务器的媒体流进行实时控制。RTSP 传输过程当用户或应用程序尝试从远程源流式传输视频时，客户端设备会向服务器发送 RTSP 请求，以确定可用.

前有古人，后有小王，大家好，我是你们爱思考的小王学长，今天我来带大家漫游一下当下发展火热的语音识别技术，通俗易懂、干货满满、一定要学到最后呦！一看到语音识别，不知道大家有没有想到智能语音交互助手，苹果的“Siri”、华为的“小 E”、OPPO 的“小欧”、小米的“小爱同学”，总有一款你接触过，还有目前发展火热的智能音箱“小度小度”、天猫精灵、微信的“语音转文字功能”、“智能家电”、车联网人机交互系统，这些都是依靠语音识别技术来实现的。应用场景平时我们用的电脑大都是微软的 windows 系列，其.

今天给大家分享一下 InfoQ 平台公开课——弱网下的极限实时视频通信，关于实时视频通信的极限探索，主讲人是南京大学的马展教授。一、课题背景首先说下课题的背景，平时手机、电脑等网络设备接收信息的准确性和及时性都与实时通信有关，以实时视频通信为例，我们不可能一直保证网络的全时稳定，此时，弱网环境的存在会对提高传输质量起到重要的作用。引用官方的解释就是：弱网环境长期存在，特别在很多关乎到生活、生产乃至生命的关键时刻，通信网络往往受到极大的物理条件限制，如海事作业、应急救灾、高并发场景等。因此我们更加需.

本文作者是 RTE 2021 创新编程挑战赛获奖者董章晔团队。在实时音视频领域，视频内容会需要得到版权保护，而盲水印则是保护的措施之一。这支参赛团队基于声网 SDK 开发了一款应用于用户端的实时视频盲水印插件。其他使用声网 SDK 的开发者，也同样可以在自己的应用中使用该插件。访问『阅读原文』，可以查看该项目的源码。项目介绍视频盲水印技术是将标识信息直接嵌入视频 RGB 或 YUV 的频域中，基本不影响原视频的观看质量，也不容易被人觉察或注意。通过这些隐藏在载体中的信息，可确认内容创建者、使用者或者判断

7 月初，声网Agora 水晶球的“数据洞察”功能正式版上线。“数据洞察”可显示两种数据，一种是用量，另一种是质量。“数据洞察”的“用量概览”最大的意义就是可以帮你回溯过去一段时间内的整体音视频分钟数趋势，为业务运营策略的复盘、调整提供数据参考。这些数据图表比较容易理解。不过第一次在“数据洞察”中看到“质量概览”的用户，可能感受到的只是扑面而来的多个数据图标，一时间还不知道，如何复盘曾遇到的质量问题，并一步步追根溯源。所以我们将通过一个测试案例，来一步步从发现问题、调查线索，到发现问题根据，带大家理解如

音视频技术为什么需要微服务微服务，英文名：microservice，百度百科上将其定义为：SOA 架构的一种变体。微服务（或微服务架构）是一种将应用程序构造为一组低耦合的服务。微服务有着一些鲜明的特点：功能单一服务粒度小服务间独立性强服务间依赖性弱服务独立维护服务独立部署对于每一个微服务来说，其提供的功能应该是单一的；其粒度很小的；它只会提供某一业务功能涉及到的相关接口。如：电商系统中的订单系统、支付系统、产品系统等，每一个系统服务都只是做该系统独立的功能，不会涉及到不属于它的功能逻辑

今天主要想介绍下，实时语音的质量到底是什么样的，大概介绍一下这个领域的一些已有的一些方法，然后会再介绍一下现有的方法，并且介绍一下未来想做的一些事情。语音质量评估方法首先，大概介绍一下语音质量评估，这个之前就一般从那个方法而言的话，是分为主观的一个评价方法，还有一个客观的评价方法的。那主观性评价方法的话，其实就是完全靠人的一个情感，那主观其实也是分两种的，一种是我完全不给你一个原始的参考信号，就是我只给你一段语音，然后你听完之后你来告诉我，你认为这在于它的分数是应该是多少，那还有一种方法呢，会给你一个锚

弱网的场景弱网与常规的互联网还是不一样的，常规的互联网对于极限挑战，已经是不错的。无论是直播、点播，基础设施、网络设备以及压缩处理技术等已经完全可以满足高清、超高清、多视点等需求了。但对于弱网来说，比如：应急救灾、远洋海事、无人图传、边防监控等，这些场景往往需要实时的通信，但这些场景下，依赖基站通信存在一定的自然原因可能会导致通讯受限，甚至中断。比如：大规模泥石流、地震等自然灾害。极限通信架构基于弱网实际的场景，以及实际存在的问题，南大实验室提出了一个极限通信的架构，主要体现在三个方面：数据驱动

音频技术的重要性：在当今社会，工业科技革命的迅速崛起，大数据分析技术、物联网技术、音频技术等的相互融合快速发展，在生物、化学、人工智能等领域有了较大的市场和研究价值。对于音频技术在这之中起到了承上启下、不可或缺的一部分。对于音频技术在这之中起到了承上启下、不可或缺的一部分。虽然音频技术不是当下最热门、最主流的前沿技术，但在其前沿相关技术的使用，甚至是生活的方方面面都有音频技术的体现。一、音频技术的讨论：1.感觉音频技术没有“大数据”、“云计算”、“物联网”技术火？其实对于我们来说，就相当于我们平常.

说起人脸识别，大家首先想到的实现方式应该是 Python 去做相关的处理，因为相关的机器学习框架，库都已经封装得比较好了。但是我们今天讨论的实现方式换成 Golang，利用 Golang 去做静态图像和视频流人脸识别的相应处理。静态图像人脸识别首先我们来进行静态的人脸识别，Golang 这边相较于 Python 社区来说相对少一些，不过依然有一些优秀的库可以供我们使用。今天我们用到的就是 go-face 这个库。该库利用 dlib 去实现人脸识别，一个很受欢迎的机器学习工具集，它可以说是人脸识别中使用最

在 Coding 之前我们先来简单介绍一下 RTP(Real-time Transport Protocol), 正如它的名字所说，用于互联网的实时传输协议，通过 IP 网络传输音频和视频的网络协议。由音视频传输工作小组开发，1996 年首次发布，并提出了以下使用设想。简单的多播音频会议使用 IP 的多播服务进行语音通信。通过某种分配机制，获取多播组地址和端口对。一个端口用于音频数据的，另一个用于控制(RTCP)包，地址和端口信息被分发给预期的参与者。如果需要加密，可通过特定格式进行加密。音视

HLS 是 HTTP Live Streaming 的缩写，是苹果开发的一种基于 HTTP 的自适应比特率流媒体传输协议, 并于 2009 年. HLS 流媒体已经成为应用最广泛的实时视频协议。它是一种将流分解成基于文件小段的格式, 可以通过 HTTP 下载，HLS 可以通过标准的 HTTP 或代理服务器等，这和基于 UDP 的协议（例如 RTP）不同。既然 HLS 现在如此受欢迎，那么它有那些优点和缺点呢。优点应用广泛首先，刚才已经提到过，HLS 是应用最惯犯的实时视频协议。虽然最初苹果是为了自己

4月23日-25日，由中国教育装备行业协会主办的第79届教育装备展在厦门国际会展中心举办。作为赋能教育信息化的实时互动PaaS服务商，声网Agora应邀参会。展会现场，声网展示了基于实时音视频互动能力打造的“三个课堂”线上教学场景解决方案、承载“三个课堂”应用的互动录播解决方案，以及实时音视频在智能台灯、人脸闸机、电子班牌等教育硬件设备的应用，通过全套的教育信息化解决方案吸引了多家信息化服务商的关注。声网展台也同样受到了行业管理部门相关领导的关注，中国质量万里行促进会教育装备专业委员会理事长沈英琪、秘书

在实时通讯技术迅猛发展的今天，人们对通话时的降噪要求也不断提高。深度学习也被应用于实时的噪声抑制。在 LiveVideoStackCon 2021 上海站中，声网Agora 音频算法负责人冯建元分享深度学习落地移动端的范例，遇到的问题和未来的展望。文 / 冯建元整理 / LiveVideoStack尊敬的各位来宾大家好，我是来自声网的冯建元。今天给大家介绍一下我们在如何基于深度学习做实时噪声抑制，这也是一个深度学习落地移动端的范例。我们就按照这样一个顺序来进行介绍。首先噪声其实是有一些不同的.

5 月 15 日，声网Agora 高级架构师高纯参加了 WebAssambly 社区举办的第一场线下活动“WebAssembly Meetup”，并围绕声网Agora 在 Web 实时视频人像分割技术的应用落地，分享了实践经验。以下为演讲分享整理。RTC 行业在近几年的发展日新月异，在线教育、视频会议等场景繁荣蓬勃。场景的发展也给技术提出了更高的要求。于是，机器学习越来越多地应用到了实时音视频场景中，比如超分辨率、美颜、实时美声等。这些应用在 Web 端也存在同样的需求，同时也是所有音视频开发者面对的挑

声网Agora Native SDK 3.4.0 本月已正式上线。新版本不仅增加了更丰富的实时美声音效、屏幕共享、虚拟节拍器等功能，同时在 SDK 的稳定性、兼容性及安全合规上做了大幅度升级，希望为 App 用户带来更顺畅、舒适的互动新体验。功能新增1、音效文件播放进度在实时音视频互动过程中，当我们希望可以更好地烘托气氛、增添趣味性，通常会选择播放音效（例如，在游戏中添加打斗声，在唱歌时添加伴奏等）来进行互动。但有时候如果需在播放音效文件后调整播放位置，只单独播放一个完整音轨中的某一段或者希望快速跳过

声网Agora 教育 aPaaS 产品灵动课堂现已升级至 v1.1.0 版本。声网Agora 灵动课堂可以帮助教育机构和开发者最快 15 分钟上线自有品牌、全功能的在线互动教学平台，节省 90% 开发时间。灵动课堂自 1 月 20 日发布，截至 3 月 31 日注册用户数超 1000 家，支持的课堂数量超过 50 万/月，全球覆盖学生数累计超过 400 万。在新版本的灵动课堂中，我们针对此前“UI 不易于修改”的问题，将 UI 代码与业务逻辑隔离，并提供 UI Kit ，从而能让开发者可以更容易地修改、添