WebRTC系列 -- iOS 音频采集播放之 ADM、APM和AudioState

已于 2022-11-30 11:11:19 修改
阅读量1k 收藏
点赞数
分类专栏： WebRTC进阶 文章标签： webrtc
于 2022-11-21 22:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/127958808
版权
本文深入探讨WebRTC在iOS上的音频处理，包括ADM（Audio Device Module）和APM（Audio Processing Module）的类关系、创建过程，以及AudioState的角色和主要作用，阐述它们如何协同工作以实现音频采集、播放和处理。
摘要由CSDN通过智能技术生成

文章目录


在WebRTC的音频模块有三个比较重要的模块，ADM、APM和AudioState，其中ADM是audio device model 也就是负责处理音频采集和播放数据的模块，APM是Audio Processing model ，AudioState主要是为了处理多个call实例共享音频的状态；这个几个模块的初始化及处理都是在 WebRtcVoiceEngine中处理；
对于参数的初始化部分见文章： WebRTC系列-APM参数设置及AudioOption
；这篇文章虽然是主要介绍apm的初始化，对于adm等的初始化流程基本相似；

1. adm和apm

1.1 adm类关系简介

WebRTC中提供了对iOS和Android的adm相关接口的封装，其中iOS端的ADM主要类关系如下图：
请添加图片描述
其中AudioDeviceModule是WebRTC对外提供的adm统一接口类&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
简简单单lym
关注
专栏目录
订阅专栏
WebRTC系列-音频ADM播放采集的停止与开始
HOSTEN的博客
12-09 656
上一篇介绍了adm及其相关的模块；这篇文章主要介绍WebRTC中对于adm采集播放的接口及一些相关的控制接口；其中的在WebRTC中是的作用是各个平台具体。
WebRTC源码分析之IOS Audio Unit
yinshipin007的博客
03-26 315
Element 1与硬件输入连接，并且Element 1的输入域(input scope)对你不可见，你只能读取它的输出域的数据及设置其输出域的音频格式；Element 0与硬件输出连接，并且Element 0的输出域(ouput scope)对你不可见，你只能写入它的输入域的数据及设置其输入域的音频格式。Voice-Processing I/O unit 是对 Remote I/O unit 的拓展，添加了语音聊天中的回声消除，还提供了自动增益矫正，语音质量调整，静音等特性。通常会使用做离线音频处理。
webrtc中APM（AudioProcessing module）的使用
weixin_34149796的博客
12-03 422
一，实例化和配置AudioProcessing* apm = AudioProcessing::Create(0); //这里的0指的是channelID，只是一个标注那个通道的表示apm->level_estimator()->Enable(true)；//启用  重试次数估计   组件apm->echo_cancellation()->Enable(true);//启用...
webrtc中APM（AudioProcessing module）的使用2
weixin_33851604的博客
12-05 297
这个其实就是从Audio_processing.h中拿出来的。APM should be placed in the signal chain as close to the audio hardware abstraction layer (HAL) as possible.APM accepts only 16-bit linear PCM audio data in frames of 10...
WebRTC APM
xinfeng205的博客
07-19 1663
原文链接：http://www.jianshu.com/p/4bcf6ae4c478 <div class="show-content-free"&gt...
WebRTC APM音频处理流程概述
weixin_34082177的博客
12-03 366
本文主要介绍WebRTC的APM。现在主要介绍一下audio_processing.h。首先插入了几个类，这些都是audio_processing的核心模块。class AudioFrame;  class EchoCancellation;  class EchoControlMobile;  class GainControl;  class HighPassFilter;  class Le...
WebRTC APM：下一代实时通信性能监测工具
最新发布
gitblog_00050的博客
04-04 303
WebRTC APM：下一代实时通信性能监测工具 项目地址:https://gitcode.com/xia-chu/webrtc_apm WebRTC APM 是一个强大的开源项目，专注于帮助开发者分析和优化WebRTC应用的音频、视频质量和网络性能。基于JavaScript构建，它可以直接集成到WebRTC应用程序中，提供详尽的数据报告和实时监控，从而帮助开发团队在复杂多变的网络环境中确保高质量...
WebRTC系列-APM参数设置及AudioOption
HOSTEN的博客
08-23 1957
需要说明的是ios的adm是没有实现BuiltInAECIsAvailable，BuiltInAGCIsAvailable等方法的，所以这里都是返回false；，这里就会设置echo_cancellation为true也就是启用软件的AEC，否则ios这里是直接设置成false，也就是使用VOIP自带的AEC;对于其他平台都是先调用对应的buildin方法判断平台是否开启了对应的算法，如果开启了就调用对应的enable关闭；后续的ApplyConfig参数设置，这里就不做介绍感兴趣的参看源码；
【webrtc】Windows平台WebRTC编译-VS2022 - 官方m98分支
突围
03-05 1476
参考之前的dep_tools记录 一些webrtc的网站 native-code 官方构建指南 启用代理很关键，windows用set linux是export 过程 先安装dep_tools Microsoft Windows [版本 10.0.22000.493] (c) Microsoft Corporation。保留所有权利。 C:\Users\zhangbin>gclient fatal: unable to access 'https://chromium.goo..
webrtc APM模块
06-19
用makefile编译生成的webrtc APM模块（AEC AGC NS NETEQ）
OneAPM-iOS:OneAPM应用性能管理平台iOS版SDK
06-13
OneAPM-iOS 这是一个 iOS版SDK的非官方镜像。 官方集成指南请参照 。 OneAPM是一家应用性能管理云解决方案提供方，针对Gartner应用性能管理所阐述的5个纬度，一一击破，实现了真实用户体验管理、应用架构自动发现和建模、自定义事务管理和深度性能剖析、应用组件深度监控、性能问题分析。为开发者提供简单、便捷、精确、有效的应用性能管理云解决方案，主要面向独立开发者、创业团队和中小型企业。 使用CocoaPods安装 是开发 OS X 和 iOS 应用程序的一个第三方库的依赖管理工具。 要使用 OneAPM SDK，推荐这样配置Podfile: # The front repo is prior if conflicted # CocoaPods private repo source 'https://github.com/jcccn/PodSpecs.git' # Co
webrtc audio移植到arm AEC+AGC+NS
01-23
自己移植到ARM-linux下，测试可用，包括源码，makefile文件，编译出的so文件libwebrtc_audio.so，移植后的头文件webrtc_api.h，测试用例WebRtcAudioTest.c（包括AGC，AEC，NS的使用方法）及编译出的可执行文件webrtc_aec，还有一些测试所用的音频资源文件 如果系统或者cpu不一样，需要修改makefile
WebRTC音视频之噪音消除功能
hbblzjy的博客
10-26 3441
WebRTC对于iOS和Android的音频处理，是有很大的不同的，WebRTC基本上是使用的iOS自身的音频降噪、环境音处理、人声增益处理，因为WebRTC认为iOS的音频处理已经满足相对理想的效果，所以在算法处理上进行了iOS和Android的区分。 ...
iOS APM
dengjiangszhan的博客
05-11 209
APM: Application Performance Management
360移动端性能监控实践QDAS-APM（iOS篇）
360技术
07-01 3243
一、背景 360是一家注重用户体验的公司，公司的口号是用户至上。在这么一个注重用户体验的氛围里，app的性能问题无疑是被重点关注的，同样也是造成用户流失的罪魁祸首之一。性能问题主要包含：崩溃、网络请求错误或者超时、UI响应速度慢、主线程卡顿、CPU和内存使用高、耗电量大等等。大多问题的原因在于开发者错误地使用了线程、锁、系统函数、编程规范问题、数据结构等等。解决这个问题的关键在于尽早发现和定位问题...
WebRTC音频预处理单元APM的整体编译及使用
weixin_33928137的博客
12-08 252
正文然而本次优化仍然没能用上整套VoE，因为VoE不仅仅包含音频预处理，它将音频编码模块、传输模块一并融入了引擎，而bill的项目需要使用既有的编码、传输层，因此使用整个VoE对我来说显得冗余且不可操作。天无绝人之路，抛开VoE不谈，bill找到了仅次于VoE层级的模块 —— APM（Audio Preprocessing Module）—— 一个整合了前文所有模块且纯粹的音频预处理单元。Ste...
iOS 之 APM知识点
abunder的博客
12-17 441
iOS 页面流畅度优化 打点工具 断点 iOS资源异常监控 iOS 组件化 iOS 优秀博客 iOS 性能官方指导 iOS 启动优化 iOS 内存优化 iOS watchdog 监控原理 iOS Crash 治理之路 iOS Crash 分析调试技巧 iOS Web 优化 iOS 减少包大小 iOS 卡死治理
webrtc-streamer支持哪些音频和视频编解码器？
11-27
webrtc-streamer支持多种音频和视频编解码器，包括MPEG，H.265，H.264，H.263 +，DV或JPEG视频以及几种音频编解码器。具体支持哪些编解码器可以参考官方存储库中的更多详细信息和完整选项。 另外，我们很难抉择应该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值