WebRTC源码之音频设备播放流程源码分析

已于 2022-08-16 23:37:03 修改
阅读量851 收藏 3
点赞数 1
分类专栏： WebRTC源码探秘 文章标签： webrtc 网络
于 2022-08-15 00:13:12 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Poisx/article/details/126338683
版权

WebRTC源码之音频设备播放流程源码分析

WebRTC源码之音频设备播放流程源码分析

WebRTC专题开嗨鸭 ！！！

一、 WebRTC 线程模型

1、WebRTC中线程模型和常见线程模型介绍

2、WebRTC网络PhysicalSocketServer之WSAEventselect模型使用

二、 WebRTC媒体协商

三、 WebRTC 音频数据采集

1、WebRTC源码之音频设备播放流程源码分析

2、WebRTC源码之音频设备的录制流程源码分析

四、 WebRTC 音频引擎(编解码和3A算法)

五、 WebRTC 视频数据采集

六、 WebRTC 视频引擎( 编解码)

七、 WebRTC 网络传输

1、WebRTC的ICE之STUN协议

2、WebRTC的ICE之Dtls/SSL/TLSv1.x协议详解

八、 WebRTC服务质量(Qos)

1、WebRTC中RTCP协议详解

2、WebRTC中RTP协议详解

3、WebRTC之NACK、RTX 在什么时机判断丢包发送NACK请求和RTX丢包重传

4、WebRTC源码之视频质量统计数据的数据结构分析

九、 NetEQ

十、 Simulcast与SVC

前言

WebRTC音频引擎启动基本流程图
WebRTC 音频初始化基本的流程

ADM

一、 ADM的作用即创建

1、Audio Device Module 类关系图

在这里插入图片描述

2、创建ADM的时机

在这里插入图片描述

3、创建ADM的过程

在这里插入图片描述

二、 WIndows Audio Core 基本概念

1、从Window Vista开始提供了 Core Audio API

2、 其运行在用户空间的

3、Core Audio 是DirectSound和WaveXxx的基础

4、Win7 对Core Audio API做了增强的

5、Core Audio 的特性

①、低延迟

②、提高了可靠性，API从内核层移到了用户层

③、安全性更高

等等…

6、Core Audio关系图

在这里插入图片描述

MMDevice API

WAS API

DeviceTopology API

EndpointVolume API

Core Audio 有两种模式： 同享模式和独享模式

7、音频设备种类

  1. 音频终端设备，指外设
  2. 音频适配器设备，一般集成在主板上，接供PCI/PNP插口

8、音频终端设备

  1. 扬声器
  2. 麦克风
  3. 辅助输入设备(耳机)

9、音频适配设备

  1. 不行输出设备（数模转换器）
  2. 输出控制设备（音量和静音控件）
  3. 波输入设备（模数转换器）
  4. 输入控制设备（输入音量控制器，多数复用器）

在这里插入图片描述

三、 Audio Core API

分下面四种API

1、MMDevice API，最常用到的接口

①、MMDevice API 的作用
  1. 获得音频终端设备得Client
  2. 决定音频终端设备的能力
  3. 能为音频终端设备创建驱动实例
②、MMDevice API的组成
  1. IMMDevice，代表一个音频设备
  2. IMMDeviceCollection，音频设备集
  3. IMMDeviceEnumerator，用于枚举音频设备
  4. IMMEndpoint，代表一个音频终端设备
③、IMMDeviceEnumerator接口
  1. 它是IMMDevice API种最关键的接口
  2. 通过它可以获得IMMDevice接口
  3. 通过它可以获取IMMDeviceCollection接口
④、创建IMMDeviceEnumerator接口
⑤、COM组件
  1. 它是一个小的，可单独运行的程序；使用时类似一个API
  2. 应用程序可以通过多个COM组件的构成
  3. COM组件有可复用、动态更新、灵活等优点
要记住

  1. 两个COM对象能实现相同的接口

    通过CLSID找到组件

    通过IID找到COM组件种的接口

  2. 每个COM组件对象可以实现多个接口

⑥、IMMDeviceEnumerator支持的方法
  1. GateDefaultAudioEndpoint获取默认设备
  2. EnumAudioEndpoint枚举音频设备

等等

在这里插入图片描述
在这里插入图片描述

2、Windows Audio Session API （WASAPI）

3、Device Topology API（更高级的API）

4、EndpointVolume API（ 修改主声音或独享方式使用）

四、ADM的初始化与设备管理

五、AudioState 的作用

六、音频播放设备的初始化

七、音频播放设备任何工作

八、音频采集设备的初始化

九、音频采集设备任何工作

十、采集后的数据交给谁？

十一、播放设置从哪儿获取数据？

InitPlay基础知识

一、几个主要的状态值

状态默认值作用
_playingfalse是否处于播放状态
_playIsinitializedfalse是否对播放参数进行了设置
_buildInAecEnabledfalse是否启用了硬件AEC功能
_recIsInitiaizedfalse是否对录录制参数进行了设备
_recordingfalse是否处理录制状态
_speakerIsInitializedfalse是否对扬声器进行了初始化
_microphoneIsIntializedfalse是否对microphone进行了初始化

二、音频的数据结构

/* general extended waveform format structure
   Use this for all NON PCM formats
   (information common to all formats)
*/
#ifndef _WAVEFORMATEX_
#define _WAVEFORMATEX_

typedef struct tWAVEFORMATEX
{
    WORD    wFormatTag;        /* 设置声音格式类型 PCM  format type  */
    WORD    nChannels;         /* 设置通道数 number of channels (i.e. mono, stereo...)   */
    DWORD   nSamplesPerSec;    /* 设置采样率  sample rate */
    DWORD   nAvgBytesPerSec;   /* 设置每秒平均字节数 for buffer estimation */
    WORD    nBlockAlign;       /* 设置对齐字节数 block size of data */
    WORD    wBitsPerSample;    /*设置每个采样的大小(位深) Number of bits per sample of mono data */
    WORD    cbSize;            /* 额外消息大小 The count in bytes of the size of
                                    extra information (after cbSize) */

} WAVEFORMATEX;
typedef WAVEFORMATEX       *PWAVEFORMATEX;
typedef WAVEFORMATEX NEAR *NPWAVEFORMATEX;
typedef WAVEFORMATEX FAR  *LPWAVEFORMATEX;
#endif /* _WAVEFORMATEX_ */

#ifdef GUID_DEFINED

三、 音频接口 IAudioClient 接口

  1. 该接口属于WASAPI
  2. 该接口能够再音频应用程序和音频引擎之间采集音频流
  3. 也能再应用程序和设备的硬件缓冲区之间创建音频流
音频设备客户端分为两种分别：
  1. 采集客户端
  2. 扬声器客户端

 MIDL_INTERFACE("1CB9AD4C-DBFA-4c32-B178-C2F568A703B2")
    IAudioClient : public IUnknown
    {
    public:
         
          //        TODO@chensong 2022-07-24 初始化音频流
          ///
          /**
          * @param AUDCLNT_SHAREMODE : 共享模式/独占模式
          * @param DWORD             : 控制流创建的flag
          * @param REFERENCE_TIME    : 请求缓冲区的大小
          * @param REFERENCE_TIME    : 周期时间
          * @param WAVEFORMATEX      : 数据格式
          * @param LPCGUID           : Audio Session 的 GUID       
          * @return
          */
          
          /
          // StreamFlags 参数类型解释：
          // AUDCLNT_STREAMFLAGS_LOOPBACK		: 
          // AUDCLNT_STREAMFLAGS_EVENTCALLBACK	:
          // ...
        virtual HRESULT STDMETHODCALLTYPE Initialize( 
            /* [annotation][in] */ 
            _In_  AUDCLNT_SHAREMODE ShareMode,
            /* [annotation][in] */ 
            _In_  DWORD StreamFlags,
            /* [annotation][in] */ 
            _In_  REFERENCE_TIME hnsBufferDuration,
            /* [annotation][in] */ 
            _In_  REFERENCE_TIME hnsPeriodicity,
            /* [annotation][in] */ 
            _In_  const WAVEFORMATEX *pFormat,
            /* [annotation][in] */ 
            _In_opt_  LPCGUID AudioSessionGuid) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetBufferSize( 
            /* [annotation][out] */ 
            _Out_  UINT32 *pNumBufferFrames) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetStreamLatency( 
            /* [annotation][out] */ 
            _Out_  REFERENCE_TIME *phnsLatency) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetCurrentPadding( 
            /* [annotation][out] */ 
            _Out_  UINT32 *pNumPaddingFrames) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE IsFormatSupported( 
            /* [annotation][in] */ 
            _In_  AUDCLNT_SHAREMODE ShareMode,
            /* [annotation][in] */ 
            _In_  const WAVEFORMATEX *pFormat,
            /* [unique][annotation][out] */ 
            _Out_opt_  WAVEFORMATEX **ppClosestMatch) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetMixFormat( 
            /* [annotation][out] */ 
            _Out_  WAVEFORMATEX **ppDeviceFormat) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetDevicePeriod( 
            /* [annotation][out] */ 
            _Out_opt_  REFERENCE_TIME *phnsDefaultDevicePeriod,
            /* [annotation][out] */ 
            _Out_opt_  REFERENCE_TIME *phnsMinimumDevicePeriod) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Start( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Stop( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Reset( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE SetEventHandle( 
            /* [in] */ HANDLE eventHandle) = 0;
        
        /
          //   TODO@chensong 2022-07-24 GetService 方法解释
          
          /** 
          * 
          *   @param rrid    : 接口ID
          *   @param ppv     : 输出的接口对象
          *   return STDMETHODCALLTYPE 
          */
        virtual HRESULT STDMETHODCALLTYPE GetService( 
            /* [annotation][in] */ 
            _In_  REFIID riid,
            /* [annotation][iid_is][out] */ 
            _Out_  void **ppv) = 0;
        
    };

音频流的访问方式

在这里插入图片描述

1、IAuidoClient的几个重要方法

  1. Initialize （模式[共享，独享] …）
  2. GetBufferSize
  3. SetEventHandle
  4. GetService
①、初始化音频流

WebRTC源码中音频流初始化在 modules/audio_device/win/audio_device_core_win.cc文件中InitPlayout方法中调用的音频流初始化方法Initialize

...


  //        TODO@chensong 2022-07-24 初始化音频流
  ///
  /**
  * @param AUDCLNT_SHAREMODE : 共享模式/独占模式
  * @param DWORD             : 控制流创建的flag
  * @param REFERENCE_TIME    : 请求缓冲区的大小 [是与时间有关系的哈]
  * @param REFERENCE_TIME    : 周期时间 [10ms采集一次、 20ms采集一次]
  * @param WAVEFORMATEX      : 数据格式
  * @param LPCGUID           : Audio Session 的 GUID       
  * @return
  */

 /
  // StreamFlags 参数类型解释：
  // AUDCLNT_STREAMFLAGS_LOOPBACK		: 
  // AUDCLNT_STREAMFLAGS_EVENTCALLBACK	:
  // ...
  hr = _ptrClientOut->Initialize(
      AUDCLNT_SHAREMODE_SHARED,  // share Audio Engine with other applications
      AUDCLNT_STREAMFLAGS_EVENTCALLBACK,  // processing of the audio buffer by
                                          // the client will be event driven
      hnsBufferDuration,  // requested buffer capacity as a time value (in
                          // 100-nanosecond units)
      0,                  // periodicity
      &Wfx,               // selected wave format
      NULL);              // session GUID

  if (FAILED(hr)) {
    RTC_LOG(LS_ERROR) << "IAudioClient::Initialize() failed:";
  }
...
②、GetService方法
  1. 它是IAudioClient中的方法
  2. 用于获取IAudioRenderClient接口
  3. 用于下写数据到渲染终端的buffer

WebRTC源码中音频流初始化在 modules/audio_device/win/audio_device_core_win.cc文件中InitPlayout方法中调用的音频流初始化方法GetService


...
    
/
  //   TODO@chensong 2022-07-24 GetService 方法解释
  
  /** 
  * 
  *   @param rrid    : 接口ID
  *   @param ppv     : 输出的接口对象
  *   return STDMETHODCALLTYPE 
  */
  // Get an IAudioRenderClient interface.
  SAFE_RELEASE(_ptrRenderClient);
  hr = _ptrClientOut->GetService(__uuidof(IAudioRenderClient),
                                 (void**)&_ptrRenderClient);
  EXIT_ON_ERROR(hr);

...

总结：

WebRTC源码分析地址：https://github.com/chensongpoixs/cwebrtc

chen_song_
关注
专栏目录
webrtc音频采集与播放底层源码介绍与相关功能分析
琅嬛福地
03-08 1153
  webrtc的音频采集和OBS有点类似，在windows平台都会使用到WASAPI，如果你熟悉OBS的代码，那么对于WASAPI应该有所了解，为什么不直接使用FFmpeg命令行呢，音视频的采集是个很复杂的过程，最常见的问题，例如在通话时如果插入耳机或者更换摄像头，用ffmpeg命令行就无法处理了，音频还需要进行3A处理，对于这种复杂场景，最终还是需要有系统API来处里。 WASAPI介绍   WASAPI（Windows Audio Session API）是微软从Vista系统中推出的全新音频架构UA
WebRTC系列-音频ADM播放采集的停止与开始
HOSTEN的博客
12-09 687
上一篇介绍了adm及其相关的模块；这篇文章主要介绍WebRTC中对于adm采集播放的接口及一些相关的控制接口；其中的在WebRTC中是的作用是各个平台具体。
webrtc音频数据流流程图
05-27
webrtc音频数据流流程图,只是整理了数据流的流向,方便了解代码.
webrtc音频发送流程
yinshipin007的博客
04-02 417
音频采集到发送的流程如上图： 音频采集和每个平台的底层API相关， windows上使用core audio， 音频预处理， 主要进行重采样、声道、回音抑制、声音检测等， 音频编码将音频数据进一步压缩，编码算法的选择是sdp协商的结果， 音频数据编码封装成rtp包，同时还会检查是否需要发送rtcp数据， 最后进行平滑发送到udp接口。webrtc音频发送流程-CSDN博客。
WebRTC音视频采集和播放示例
wxxnb的博客
08-30 224
本文详细介绍了如何使用WebRTC进行音视频采集，包括同时打开摄像头和麦克风的示例代码，以及MediaStream对象的创建、管理与关键方法。涵盖了getUserMedia API的深入解析和常见应用场景，适合开发者快速入门和实践。
WEBRTC浅析（一） H264 RTP接收数据流小结
muwesky的专栏
08-05 5038
WEBRTC 接收H264 RTP数据流小结 这篇文章是对webrtc 中，接收H264 RTP包的一个总结，主要分为两个部分： 第一部分，介绍H264打包成RTP包的规范，以及WEBRTC中目前正在使用的几种格式。 第二部分，介绍WEBRTC的数据流，从接收RTP包，到拼装成H264 Frame，最终送入Decoder，获取YUV数据。 第一部分：RTP Payloa...
WebRtc音频01 - 设备管理
最新发布
Ziwubiancheng的博客
10-10 927
Audio Device Module (ADM) 用来管理详情可以参考：https://chromium.googlesource.com/external/webrtc/+/master/modules/audio_device/g3doc/audio_device_module.mdwebrtc中队音频设备得管理都是通过ADM完成的，并且抽象出了统一的接口类AudioDeviceModule，使用者不用管是什么系统平台，直接调用统一的方法即可。
webrtc源码第6部分
02-19
深入学习WebRTC源码，不仅能够帮助开发者理解其实现原理，还可以为自定义功能、优化性能或者调试问题提供宝贵的经验。WebRTC作为一个复杂的系统，涉及的方面众多，每一个环节都值得我们去深入研究。
webRTC 源码
05-06
通过深入研究这个WebRTC源码，开发者不仅可以掌握WebRTC的基本用法，还能了解到实时通信背后的复杂网络技术，这对于构建现代Web应用程序，尤其是那些需要音视频通信功能的应用，是非常宝贵的资源。
Android WebRTC音频和视频通信源码
01-17
在“Android WebRTC音频和视频通信源码”中，`WebRTCDemo`很可能是项目的主示例应用。这个应用可能包含了以下关键功能： 1. **初始化 PeerConnection**: 应用需要创建一个RTCPeerConnectionFactory实例，并使用它来...
WebRTC音频处理流程详解
TjsReact的博客
09-23 322
在WebRTC中，音频处理是其中一个重要的组成部分，它负责对音频流进行采集、编码、解码和处理。然后，我们创建了一个音频缓冲区，并将处理后的音频数据写入其中。最后，我们创建了一个音频源，并将音频缓冲区设置为其源，并将其连接到音频输出设备，最后开始播放音频数据。综上所述，WebRTC音频处理流程包括音频采集、音频编码、音频解码、音频处理和音频播放。开发者可以使用WebRTC提供的API和工具，根据自己的需求对音频数据进行处理和操作，从而实现各种音频应用场景，如音视频通话、音频会议等。
WebRTC中音视频处理流程分析
02-26
WebRTC中音视频处理流程分析，来源于http://blog.csdn.net/neustar1/
WebRTC学习之三：录音和播放
12-26
使用WebRTC C++实现的录音与播放功能，界面用的Qt。 详见博客：http://blog.csdn.net/caoshangpa/article/details/53446916
JSWebrtc简易播放器-其他
06-12
JSWebrtc是一个支持SRS的Webrtc播放器。 JSWebrtc对浏览器的Webrtc做了简单的封装，支持SRS的RTC流的播放。 用法： JSWebrtc播放器可以通过HTML创建，只需给指定元素添加CSS样式jswebrtc即可: div class="jswebrtc" data-url="" 也可以通过在 JavaScript 中调用 JSWebrtc.Player() 构造方法来创建: var player = new JSWebrtc.Player(url [, options]); 参数url是一个webrtc开头的地址 (webrtc://...). 参数options支持下列的配置项: video – 用于播放视频的 HTML Video 元素. autoplay - 是否自动播放. 默认 false. onPlay(player) – 播放后回调 onPause(player) – 暂停后回调 JSWebrtc.Player API 实例JSWebrtc.Player支持以下方法和属性: .play() – 开始 .pause() – 暂停 .stop() – 停止 .destroy() – 停止播放并清理相关的播放资源. .paused – 只读, 是否暂停播放
WebRTC音频处理流程简介
Charles' home
06-24 1531
本文概要介绍webRTC的音频处理流程，见下图： webRTC将音频会话抽象为一个通道Channel，譬如A与B进行音频通话，则A需要建立一个Channel与B进行音频数据传输。上图中有三个Channel，每个Channel包含编解码和RTP/RTCP发送功能。 以一个Channel而言，应用程序中将包含三个活动线程，录音线程，音频接收线程和播放线程。 1）录音线程：
WEBRTC 中的基本音频处理操作
liveweb视频汇聚平台
10-13 893
WebRTC 的音频处理流水线大体如下图：除了音效之外，WebRTC 的音频处理流水线包含其它所有的部分，音频数据的采集及播放，音频数据的处理，音频数据的编码和解码，网络传输都有。在 WebRTC 中，通过 AudioDeviceModule 完成音频数据的采集和播放。不同的操作系统平台有着不同的与音频设备通信的方式，因而不同的平台上使用各自平台特有的解决方案实现平台特有的 AudioDeviceModule。
WebRTC音频模块
Charles' home
06-24 1661
本文转载于：http://blog.csdn.net/neustar1/article/details/19344503   非常感谢。 本文介绍WebRTC音频模块组成和结构，详细介绍音频引擎的配置和启动，相信看完本文后，很多人可以利用WebRTC完成一个音频通话程序开发。 一、对外接口       音频部分的对外主要接口如下，各个接口之间的关系如图1所示。 1）Voice Engine
[源码分析]webrtc音频流从接收到播放的关键流程
sinat_31066863的博客
02-27 535
neteq中对音频流的RTP数据包进行了处理和解码操作。同时数据出现了跨线程的投递。如图所示，音频流从接收到播放的核心关键流程和执行线程。后面将添加对neteq模块的细节分析。后面有空补上核心对象之间的关系图。
【webrtc】ChannelReceive：rtc audio 接收通道 走读
突围
07-15 227
ChannelReceive：rtc audio 接收通道 g:\gerrit\src\third_party\webrtc\audio\channel_receive.cc ChannelReceive 接受网络传输的rtp 音频包（MediaTransportEncodedAudioFrame）并 播放 class ChannelReceive : public ChannelReceiveInterface, public MediaTransp
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值