声网的博客

本文将演示如何通过声网Agora 视频 SDK 在 Android 端实现一个视频直播应用。注册声网账号后，开发者每个月可获得 10000 分钟的免费使用额度，可实现各类实时音视频场景。

本文将教你如何通过声网Agora 视频 SDK 在iOS端实现一个视频直播应用。注册声网账号后，开发者每个月可获得 10000 分钟的免费使用额度，可实现各类实时音视频场景。

在现在很多的线上实时互动场景中，我们重视的不仅仅是互动体验，还要提升沉浸感。而在很多场景中，仅凭空间音频技术，就可以带来如临其境的体验。空间音频技术的原理是怎样的呢？

一起探索创新，共建新技术、新产品、新场景

在与开发者长期的沟通中，我们发现，尽管声网为开发者提供了丰富翔实的 SDK 技术文档，但对于初次接触声网 SDK 的开发者来说，在第一眼看到文档的时候，可能会被大量新概念和复杂的 API 接口淹没。

视频群聊、在线社交、电商带货、游戏竞技.......越来越多的场景融入了直播这一功能。无可厚非，直播可以拉近人与人间的距离，让彼此间的交流更具象。

本文将教你如何通过声网Agora 视频 SDK 在 Android 端实现一个视频通话应用。声网 SDK 每个月会提供 10000 分钟的免费使用额度，可实现各类实时音视频场景。

声网近期发布了“MetaChat 元语聊”、“MetaKTV”解决方案，致力于提供一种全新的元宇宙互动社交、K 歌方式，其中都提到了“3D 空间音频”这项核心技术，对提升玩家沉浸感与听觉体验发挥了关键作用。

声网自研的 Agora Lipsync（唇音同步） 技术是如何实现无需打开摄像头，无需面部捕捉技术，只需上传一张/多张人脸头像就可以通过说话人的语音音频信号，就能驱动静态人脸头像的嘴部运动。

云计算的出现为企业的管理、业务开展、资源整合等带来了极大的便利性，也是数字化建设的核心基建之一，然而局部宕机或者大面积宕机事件对于云厂商来说却也无法避免，全球领先的计算平台也不例外。例如，美国东部时间12月7日上午10点45分，亚马逊 AWS 遭遇宕机，导致了迪斯尼+、奈飞等一些网站的在线服务受到影响，此次故障也在业内引发了较大的关注。之所以说云厂商的宕机故障无法 100% 避免，核心在于造成的原因有很多种，例如人为失误、网络中断或者区域性网络拥塞、停电、自然灾害等，作为云厂商，能做的就是不断优化技术与服

“运气是设计的残留物。”——John Milton如果玩过《全面战争：中世纪 II》，或者读过 John Milton 书的人，可能对这句话有印象。我们发现，很多小伙伴从疫情时期开始了解音视频行业，虽然对音视频很感兴趣，看了很多相关公众号和文章，还是没能成功入门。可能是因为内容零散不成体系，可能是因为没有上手实践，也可能是因为没时间没人督促渐渐就忙了、忘了、放弃了。正如 John Milton 所说，系统性学习一个新的门类，除了有高质量的结构化知识之外，也需要有“导师”及“伙伴”的引导及陪伴，才能..

本文作者是本届 RTE 2021 创新编程挑战赛获奖者，来自上海交通大学的李新春。他分享了本次参赛作品的构思、系统设计和开发的心得。01 不得忽略的背景从国家层面上讲，十四五期间我国人工智能发展的方向之一是：基于 AI 硬件的新产品设计及平台将成为主流。当前，人工智能解决方案正由“软件”模式转变为“软件+硬件”模式。随着智能计算芯片与系统、新型多元智能传感器件与集成平台等新一代人工智能基础支撑平台日渐成熟。以 AI 硬件为基础，在“端+云+芯片”协同发展的背景下，产品的感知、理解、推理和决策能力将实现突

由声网Agora 与环信联合主办的“RTE 2021 编程挑战赛”已圆满落幕。在今年的大赛中，来自行业中不同领域的专家参与了决赛评选，包括 Linux 中国技术社区技术负责人 白宦成、声网Agora 资深 iOS 开发工程师 龚宇华、北京音视跳动首席架构师兼讲师 李超、SegmentFault 思否 CTO 祁宁、环信 CTO 赵贵宾、声网Agora Web 研发工程师 张乾泽、声网Agora SDK 资深架构师 章真。参赛作品得到了来自不同视角的评价。我们也找到了几位评委，跟他们聊了聊他们印象深刻的创新

线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联合 InfoQ 共同策划，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文源于

全球实时互动云服务开创者和引领者声网Agora（纳斯达克股票代码：API）宣布其视频 SDK 现已集成到领先的 VR/XR 远程协作及会议应用 HTC VIVE Sync App 中。通过集成声网Agora 的视频 SDK，HTC VIVE Sync App 可以支持 HTC VIVE 用户和非 VR 用户在同一虚拟环境中进行更紧密无缝的远程协作，用户在不需要穿戴 VR 设备的情况下也能够与其他 VR 用户共享沉浸式体验。此外，用户也可以在协同环境中实现屏幕及文档共享，让所有参与者都可以更方便、快捷地感

2021年6月10日，HTC VIVE 在北京举办以“融合·至界”为主题的新品体验会暨开发者客户大会。近 300 位 XR 行业精英齐聚一堂，共同见证了 HTC VIVE 全能 VR 一体机 VIVE FOCUS 3、革新专业级 PC-VR VIVE PRO 2 的首次公开亮相；并带来多个优秀的前沿应用案例，展示 XR 行业技术的最新动态与杰出成就。声网Agora 作为首批加入 HTC VIVE ISV 合作伙伴计划的企业之一，受邀出席大会并围绕 ISV 合作伙伴计划、VR/XR、实时互动等话题进行了深入分

6月5日，声网Agora 联合人人都是产品经理在成都举办了主题为“社交泛娱乐APP运营增长力和新玩法解析”的沙龙。现场围绕社交泛娱乐新玩法解析以及出海的新机遇、支付痛点、增长、运营等多个环节深入探讨，干货满满。现场吸引了100多位成都本地的社交泛娱乐领域从业者参会。本次沙龙共邀请到声网Agora 社交泛娱乐产品专家高圣恺、Airwallex 商务总监Raven Liu、亚马逊云科技-四川泛娱乐行业业务拓展总监王磊、AdTiming 总裁助理，前Camera 360海外市场总监闫雯四位嘉宾分别就实时互动玩转

今天，我们将会一起开发一个包含 RTE （实时互动）场景的 Flutter 应用。项目介绍靠自研开发包含实时互动功能的应用非常繁琐，你要解决维护服务器、负载均衡等难题，同时还要保证稳定的低延迟。那么，如何才能在较短的时间内，将实时互动功能添加到 Flutter 应用中？你可以通过声网Agora SDK 来进行开发。在本教程中，我将带大家了解如何使用 Agora Flutter SDK 订阅多个频道的过程。（多频道是什么样场景呢？我们稍后举些例子。）开发环境网页访问 Agora.io，注册一个Ag

线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联合 InfoQ 共同策划，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文作者

本人从一位测试的角度出发，基于目前项目中摄像头的直播和语音对讲业务，正寻求音视频的质量测试及一些监控分析手段。工作中发现达到一定的并发程度之后，就会出现延时、卡顿、丢帧、马赛克等问题。所以最近在网上看看专家的直播和专栏，学习一下行业内的好的测试方法。这不，前几天有幸参与了声网的音频算法工程师赵晓涵的关于《实时语音质量监控系统的过去、现在和未来》的在线直播和讨论。本次直播旨在介绍一下声网实时语音质量监控系统的进展，并和大家交流了一下未来的演化方向。整理了一下，本次直播主要的内容主要涵盖了以下几个模块：.

大家好，我是 cv 君，涉猎语音一段时间了，今天提笔浅述一下语音的传输前后，质量如何过关，也就是说，怎么评价我们语音的质量，比如麦克风等声音设备等等。我们在语音质量方面，有三种全局上的评价方法：有参考客观评价方法，有参考客观评价方法，主观评价方法。那么我们细分到他的子类，就会有很多使用的算法与评价思路。语音质量极其重要，能够让聊天的你我免受一些噪声的烦扰，能够让部队军方的通信更可靠，能够让每逢佳节倍思亲，与家人通电话时重温那久违，真实，亲切的话语和音色。我们过去是怎么评价的？主观评价研究主要可以.

我们知道 Camera 采集回传的是 YUV 数据，AudioRecord 是 PCM，我们要对这些数据进行编码(压缩编码)，这里我们来说在 Android 上音视频编解码逃不过的坑-MediaCodec。MediaCodecPSMediaCodec 可以用来编/解码 音/视频。MediaCodec 简单介绍MediaCodec 类可用于访问低级媒体编解码器，即编码器/解码器组件。 它是 Android 低级多媒体支持基础结构的一部分（通常与 MediaExtractor，MediaSync，M

章目录前言语音识别原理 信号处理，声学特征提取 识别字符，组成文本 声学模型 语言模型 词汇模型语音声学特征提取：MFCC和LogFBank算法的原理实战一 ASR语音识别模型 系统的流程 基于HTTP协议的API接口 客户端 未来实战二 调百度和科大讯飞API实战三 离线语音识别 Vosk前言语音识别原理首先是语音任务，如语音识别和语音唤醒。听到这些，你会想到科大讯飞、百度等.

OpenGL 是一个跨平台的 API,而不同的操作系统(Windows,Android,IOS)各有自己的屏幕渲染实现。所以 OpenGL 定义了一个中间接口层 EGL（Embedded Graphics Library）标准，具体实现交给各个操作系统本身EGL简单来说 EGL 是一个中间接口层，是一个规范，由于 OpenGL 的跨平台性，所以说这个规范显得尤其重要，不管各个操作系统如何蹦跶，都不能脱离我所定义的规范。EGL 的一些基础知识EGLDisplayEGL 定义的一个抽象的系统显.

音视频采集在整个音视频处理的过程中，位于发送端的音视频采集工作无疑是整个音视频链路的开始。在 Android 或者 IOS 上都有相关的硬件设备——Camera 和麦克风作为输入源。本章我们来分析如何在 Android 上通过 Camera 以及录音设备采集数据。本章可结合之前发布的文章Android 音视频 - MediaCodec 编解码音视频做一个完整的 Demo。Camera在 Android 上的图片/视频采集设备无疑就是 Camera 了，在 Android SDK API21 之前的版本

背景介绍实时音视频通话在当前的生活中是无时不刻存在的，包括社交、安防、交通等等各个方面都需要。用户场景复杂多变、要求严苛、网络环境不一致等给实时音视频通话带来很大条件。我们在这方向稍微做了一些工作，虽然和其他大厂的优化工作相比，我们还处于劣势，还有很多可以优化和改进的，但是目前的一些进展和工作内容和大家分享一下。0.1 网络传输：我们知道网络传输目前有 TCP 和 UDP 两种，相关优缺点如下脑图；而影响网络传输质量也有很多原因：包括网络拥塞、网络丢包等等。这些因素直接决定当前实时视频通话的质量，也.

在音视频发展的历程中，编解码无疑是其最核心的功能，编解码标准的更新换代也极大促进了音视频技术的发展以及行为模式的变更。从电视到网络视频以及现在的网络直播、点播、音视频会议等等，这些变化的背后都离不开音视频编解码技术的更新迭代。比如 H.264(仍然是目前使用最多的编解码规范)以及 H.265/HEVC(部分大厂在使用 优酷 腾讯等),以及国内的 AVS 系列。h.26x 系列视频编码标准的发展简史LoveYFanH.261-视频编奠基者H.261 设计的目的是能够在带宽为 64kbps 的倍数的

之前多多少少接触过一些编解码参数，CRF 参数也用过，但是最近在和朋友们聊天时，说到使用 FFMPEG 过程中碰到 CRF 参数，以及具体作用流程，这个之前一直没有跟踪过，也没有详细记录过，所以吊起了自己的好奇心，于是决定搞清楚一下，便开始了这次 CRF 的神奇之旅。CRF 简介：恒定速率因子（CRF，Constant Rate Factor）是一种编码模式，可以向上或向下调整文件数据速率以达到选定的质量级别，而不是特定的数据速率。如果要保持最佳质量，而又不怎么担心文件大小，这时候就可以使用 CRF .

voip基于 IP 的音视频传输是一种实时视频通话技术，经由 Internet 协议来达成音视频通话，以及多媒体会议。VoIP 可用于包括 VoIP 电话、智能手机、个人计算机在内的诸多互联网接入设备，通过蜂窝网络、Wi-Fi、同轴电缆、光纤等设备进行信令传输、音视频通话、发送短信，以及部分控制信息的传输。背景介绍一旦移动电话或者监控设备链接网络时，由于互联网的异构和各种媒介的传输效率的递减，必然出现网络传输中音视频数据包的丢失，因而直接影响用户的感官、以及主观体验。在 TCP 中有 ack 反馈进.

我们所知道 SRT 是由 Haivision 和 Wowza 开发的开源视频流协议。很多人会认为在不久的将来，它被是 RTMP 的替代品。因为 RTMP 协议安全性稍低，延迟相对较高 ，而相对于 SRT 协议支持高质量、稳定性、亚秒级延迟、强大的编解码器支持。SRT 被许多行业专家认为是视频流的新协议。SRT 究竟是什么？什么是 SRT？安全可靠传输 (SRT) 是一种开源数据传输协议。SRT 使用用户数据报协议 (UDP)，旨在通过公共互联网发送高质量视频，因此该协议是音频和视频流的最佳选择。在许.

RTCP 是实时控制协议（Real-Time Control Protocol）的缩写。RTCP 由 RFC 3550 定义（取代作废的 RFC 1889）。实时传输协议（RTP）和实时控制协议（RTCP）结合使用，可以监视大型多播网络的数据传递。RTP 承载媒体流，而 RTCP 用于监视传输统计信息和服务质量。监视使接收器能够检测是否有任何丢包并补偿任何延迟抖动。两种协议都独立于基础传输层协议和网络层协议工作。RTP 标头中的信息告诉接收器如何重建数据，并描述编解码器比特流的打包方式。下面我们重点.

要了解什么是视频编解码，首先我们需要了解什么是视频。视频归根结底是一系列连续的图像帧，当这些图像以一定速率播放时，人眼就会判断其是连续活动的，这样就构成了视频。那为什么要进行视频编解码呢，因为视频信号数字化后数据量巨大，如果以这样的数据量进行网络传输或者存储时，会占用大量的带宽和存储空间，造成浪费。已当前主流的 1080P 分辨率，一秒 30 帧的视频举例1080P 图像的高和宽分别为 1080 和 1920，每个像素用三原色 RGB 表示(即每个像素三个字节)，因此每帧图像的数据量为 1080 *

今天参加了声网 Agora 的《实时语音质量监控系统的过去、现在与未来》，结合之前工作时音频处理的一些经验，分享一些自己的理解。音频(泛指人能听到的自然界的所有声音，人耳能听到声音的频谱范围一般为 20~20000HZ)和语音 (语音是指人说话的声音，人说话的声音频谱能量范围大部分分布在 300~3400HZ)两者是不同的，可以看出人是可以听到比人说话更广范围的声音的；这就是人可以听到像乐器，自然界，尖鸣声这些声音，但是人并不能发出来。为什么要做质量评估，原因有几个方面，比如大家除了面对面交流，在通话，

一、前言大家好, 俗话说的好, 学习新的知识后要学以致用, 在学习音视频的过程中, 你有没有疑问, 不知道音视频可以用来做什么. 下面举几个例子, 比较耳熟能详, 被吹到风口的一些场景有: AI 视觉计算, AI 人脸识别. 细化到一些小的领域, 如现在直播技术, 摄像头监控拉流; 其他还有抖音中的美颜, 滤镜, 其背后是使用的音视频领域的数字化妆技术.由此可见,音视频技术应用已经应用于我们生活的方方面面。二、开发背景想写这篇文章的目的是因为,我有个朋友平时喜欢刷抖音, 就经常有一些视频被作者设置成了

一、前言FFMPEG 是特别强大的专门用于处理音视频的开源库。你既可以使用它的 API 对音视频进行处理，也可以使用它提供的工具，如 ffmpeg, ffplay, ffprobe，来编辑你的音视频文件。本文将简要介绍一下 FFMPEG 库的基本目录结构及其功能，然后详细介绍一下我们在日常工作中，如何使用 ffmpeg 提供的工具来处理音视频文件。二、FFMPEG 目录及作用libavcodec： 提供了一系列编码器的实现。libavformat： 实现在流协议，容器格式及其本 IO 访.

一、什么是弱网?1.1 弱网概念弱网从字面意思看就是网络比较弱, 我们通称为信号差, 网速慢, 随着移动互联网火热发展的这些年, 大量用户会在地铁, 隧道, 电梯和车库等特殊场景下使用移动端 APP 。这些场景下, 网络会出现延迟、中断、抖动、超时等情况。1.2 网络形态网络形态包含有线连接, 2G/3G/4G/5G/Edge/Wifi 等多种网络连接形式, 从测试的角度说, 也包含断网, 网络故障等情况, 对于弱网的数据定义, 不同的应用所界定的含义也是不一样且不清晰的, 一般来说低于 2G 速.

一、背景近些年，直播连麦这把火在流媒体领域整整燃烧了 6 年。从刚开始的简单探索，到现在的成熟全链路方案，不得不说日益增长的激烈竞争，已将让原本的蓝海领域变成了深海互搏。在这样的大环境下，是否意味着小厂将再也没有机会追逐流媒体行业风口，以小搏大呢？答案当然不是，感谢多年来的市场驱动带来的技术思想碰撞，由此诞生了一批专精通讯的技术供应商。使得任何组织都可通过合理的对端方案设计，实现流媒体赋能。而声网作为这样的合作伙伴，则是其中的佼佼者。这就是这篇文章将要谈到的内容：基于声网的对端连麦方案。二、宏观流程.

一、弱网下极限视频通信是什么？所谓的弱网络环境就是网络不是很好，比如无线 wifi、跨多层网络路由、或者网路负载过大等等情况，这样数据在传输中会发生丢失的情况。通常意义上，当我们出现网络有拥塞之后，之前会消耗比较长的时间在这个网络里面，通过一个前向校验码 fec，或者是我们通过 arq ，目前还有无数的研究者在做这样 hybrid arq 加上 fec 。但是从视频信号的角度来看的话，需要寻求另外一种方法。就是在你的网络时差的时候，比如说我们所说的入网环境在 50k 以下 5kbps 以下甚至更低，那.

今天小王学长跟大家谈谈实时语音质量监控系统的前世今生， 实时语音想必大家都不陌生，微信语音聊天、视频直播，生活中的例子比比皆是。在过去的语音通信系统中，影响语音质量的因素有很多，包括但不仅限于延时(delay)、丢包(packet loss)、包延迟变化(packet delay variation)、回声(echo)、以及由于编码造成的失真。语音质量评估方法总的来说可以分为三种：有参考客观评价方法、主观评价方法和无参考客观评价方法。有参考客观评价方法：是指把原始参考音视频与失真音视频在每一个对.

前有古人，后有小王，大家好，我是你们爱思考的小王学长，今天咱们继续漫游语音识别技术哈，今天内容稍微专业一些，大家可以结合上一篇漫游语音识别技术一起学习。上篇我们简单了解了语音识别技术的概念、前世今生以及基本识别原理，一会学长带着大家漫游到语音识别技术更深（更专业）的世界里。文章目录：（大家先预览下）一、语音识别基础二、信号处理过程 1、降噪处理 ①小波变换降噪法 ②谱减法 ③自适应噪声抵消法 ④声音滤波器 2、预加.