WebRTC源码之音频设备播放流程源码分析

已于 2022-08-16 23:37:03 修改
阅读量666 收藏 3
点赞数 1
分类专栏： WebRTC源码探秘 文章标签： webrtc 网络
于 2022-08-15 00:13:12 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/poisx/article/details/126338683
版权

WebRTC源码之音频设备播放流程源码分析

WebRTC源码之音频设备播放流程源码分析

WebRTC专题开嗨鸭 ！！！

一、 WebRTC 线程模型

1、WebRTC中线程模型和常见线程模型介绍

2、WebRTC网络PhysicalSocketServer之WSAEventselect模型使用

二、 WebRTC媒体协商

三、 WebRTC 音频数据采集

1、WebRTC源码之音频设备播放流程源码分析

2、WebRTC源码之音频设备的录制流程源码分析

四、 WebRTC 音频引擎(编解码和3A算法)

五、 WebRTC 视频数据采集

六、 WebRTC 视频引擎( 编解码)

七、 WebRTC 网络传输

1、WebRTC的ICE之STUN协议

2、WebRTC的ICE之Dtls/SSL/TLSv1.x协议详解

八、 WebRTC服务质量(Qos)

1、WebRTC中RTCP协议详解

2、WebRTC中RTP协议详解

3、WebRTC之NACK、RTX 在什么时机判断丢包发送NACK请求和RTX丢包重传

4、WebRTC源码之视频质量统计数据的数据结构分析

九、 NetEQ

十、 Simulcast与SVC

前言

WebRTC音频引擎启动基本流程图
WebRTC 音频初始化基本的流程

ADM

一、 ADM的作用即创建

1、Audio Device Module 类关系图

在这里插入图片描述

2、创建ADM的时机

在这里插入图片描述

3、创建ADM的过程

在这里插入图片描述

二、 WIndows Audio Core 基本概念

1、从Window Vista开始提供了 Core Audio API

2、 其运行在用户空间的

3、Core Audio 是DirectSound和WaveXxx的基础

4、Win7 对Core Audio API做了增强的

5、Core Audio 的特性

①、低延迟

②、提高了可靠性，API从内核层移到了用户层

③、安全性更高

等等…

6、Core Audio关系图

在这里插入图片描述

MMDevice API

WAS API

DeviceTopology API

EndpointVolume API

Core Audio 有两种模式： 同享模式和独享模式

7、音频设备种类

  1. 音频终端设备，指外设
  2. 音频适配器设备，一般集成在主板上，接供PCI/PNP插口

8、音频终端设备

  1. 扬声器
  2. 麦克风
  3. 辅助输入设备(耳机)

9、音频适配设备

  1. 不行输出设备（数模转换器）
  2. 输出控制设备（音量和静音控件）
  3. 波输入设备（模数转换器）
  4. 输入控制设备（输入音量控制器，多数复用器）

在这里插入图片描述

三、 Audio Core API

分下面四种API

1、MMDevice API，最常用到的接口

①、MMDevice API 的作用
  1. 获得音频终端设备得Client
  2. 决定音频终端设备的能力
  3. 能为音频终端设备创建驱动实例
②、MMDevice API的组成
  1. IMMDevice，代表一个音频设备
  2. IMMDeviceCollection，音频设备集
  3. IMMDeviceEnumerator，用于枚举音频设备
  4. IMMEndpoint，代表一个音频终端设备
③、IMMDeviceEnumerator接口
  1. 它是IMMDevice API种最关键的接口
  2. 通过它可以获得IMMDevice接口
  3. 通过它可以获取IMMDeviceCollection接口
④、创建IMMDeviceEnumerator接口
⑤、COM组件
  1. 它是一个小的，可单独运行的程序；使用时类似一个API
  2. 应用程序可以通过多个COM组件的构成
  3. COM组件有可复用、动态更新、灵活等优点
要记住

  1. 两个COM对象能实现相同的接口

    通过CLSID找到组件

    通过IID找到COM组件种的接口

  2. 每个COM组件对象可以实现多个接口

⑥、IMMDeviceEnumerator支持的方法
  1. GateDefaultAudioEndpoint获取默认设备
  2. EnumAudioEndpoint枚举音频设备

等等

在这里插入图片描述
在这里插入图片描述

2、Windows Audio Session API （WASAPI）

3、Device Topology API（更高级的API）

4、EndpointVolume API（ 修改主声音或独享方式使用）

四、ADM的初始化与设备管理

五、AudioState 的作用

六、音频播放设备的初始化

七、音频播放设备任何工作

八、音频采集设备的初始化

九、音频采集设备任何工作

十、采集后的数据交给谁？

十一、播放设置从哪儿获取数据？

InitPlay基础知识

一、几个主要的状态值

状态默认值作用
_playingfalse是否处于播放状态
_playIsinitializedfalse是否对播放参数进行了设置
_buildInAecEnabledfalse是否启用了硬件AEC功能
_recIsInitiaizedfalse是否对录录制参数进行了设备
_recordingfalse是否处理录制状态
_speakerIsInitializedfalse是否对扬声器进行了初始化
_microphoneIsIntializedfalse是否对microphone进行了初始化

二、音频的数据结构

/* general extended waveform format structure
   Use this for all NON PCM formats
   (information common to all formats)
*/
#ifndef _WAVEFORMATEX_
#define _WAVEFORMATEX_

typedef struct tWAVEFORMATEX
{
    WORD    wFormatTag;        /* 设置声音格式类型 PCM  format type  */
    WORD    nChannels;         /* 设置通道数 number of channels (i.e. mono, stereo...)   */
    DWORD   nSamplesPerSec;    /* 设置采样率  sample rate */
    DWORD   nAvgBytesPerSec;   /* 设置每秒平均字节数 for buffer estimation */
    WORD    nBlockAlign;       /* 设置对齐字节数 block size of data */
    WORD    wBitsPerSample;    /*设置每个采样的大小(位深) Number of bits per sample of mono data */
    WORD    cbSize;            /* 额外消息大小 The count in bytes of the size of
                                    extra information (after cbSize) */

} WAVEFORMATEX;
typedef WAVEFORMATEX       *PWAVEFORMATEX;
typedef WAVEFORMATEX NEAR *NPWAVEFORMATEX;
typedef WAVEFORMATEX FAR  *LPWAVEFORMATEX;
#endif /* _WAVEFORMATEX_ */

#ifdef GUID_DEFINED

三、 音频接口 IAudioClient 接口

  1. 该接口属于WASAPI
  2. 该接口能够再音频应用程序和音频引擎之间采集音频流
  3. 也能再应用程序和设备的硬件缓冲区之间创建音频流
音频设备客户端分为两种分别：
  1. 采集客户端
  2. 扬声器客户端

 MIDL_INTERFACE("1CB9AD4C-DBFA-4c32-B178-C2F568A703B2")
    IAudioClient : public IUnknown
    {
    public:
         
          //        TODO@chensong 2022-07-24 初始化音频流
          ///
          /**
          * @param AUDCLNT_SHAREMODE : 共享模式/独占模式
          * @param DWORD             : 控制流创建的flag
          * @param REFERENCE_TIME    : 请求缓冲区的大小
          * @param REFERENCE_TIME    : 周期时间
          * @param WAVEFORMATEX      : 数据格式
          * @param LPCGUID           : Audio Session 的 GUID       
          * @return
          */
          
          /
          // StreamFlags 参数类型解释：
          // AUDCLNT_STREAMFLAGS_LOOPBACK		: 
          // AUDCLNT_STREAMFLAGS_EVENTCALLBACK	:
          // ...
        virtual HRESULT STDMETHODCALLTYPE Initialize( 
            /* [annotation][in] */ 
            _In_  AUDCLNT_SHAREMODE ShareMode,
            /* [annotation][in] */ 
            _In_  DWORD StreamFlags,
            /* [annotation][in] */ 
            _In_  REFERENCE_TIME hnsBufferDuration,
            /* [annotation][in] */ 
            _In_  REFERENCE_TIME hnsPeriodicity,
            /* [annotation][in] */ 
            _In_  const WAVEFORMATEX *pFormat,
            /* [annotation][in] */ 
            _In_opt_  LPCGUID AudioSessionGuid) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetBufferSize( 
            /* [annotation][out] */ 
            _Out_  UINT32 *pNumBufferFrames) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetStreamLatency( 
            /* [annotation][out] */ 
            _Out_  REFERENCE_TIME *phnsLatency) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetCurrentPadding( 
            /* [annotation][out] */ 
            _Out_  UINT32 *pNumPaddingFrames) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE IsFormatSupported( 
            /* [annotation][in] */ 
            _In_  AUDCLNT_SHAREMODE ShareMode,
            /* [annotation][in] */ 
            _In_  const WAVEFORMATEX *pFormat,
            /* [unique][annotation][out] */ 
            _Out_opt_  WAVEFORMATEX **ppClosestMatch) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetMixFormat( 
            /* [annotation][out] */ 
            _Out_  WAVEFORMATEX **ppDeviceFormat) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE GetDevicePeriod( 
            /* [annotation][out] */ 
            _Out_opt_  REFERENCE_TIME *phnsDefaultDevicePeriod,
            /* [annotation][out] */ 
            _Out_opt_  REFERENCE_TIME *phnsMinimumDevicePeriod) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Start( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Stop( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE Reset( void) = 0;
        
        virtual HRESULT STDMETHODCALLTYPE SetEventHandle( 
            /* [in] */ HANDLE eventHandle) = 0;
        
        /
          //   TODO@chensong 2022-07-24 GetService 方法解释
          
          /** 
          * 
          *   @param rrid    : 接口ID
          *   @param ppv     : 输出的接口对象
          *   return STDMETHODCALLTYPE 
          */
        virtual HRESULT STDMETHODCALLTYPE GetService( 
            /* [annotation][in] */ 
            _In_  REFIID riid,
            /* [annotation][iid_is][out] */ 
            _Out_  void **ppv) = 0;
        
    };

音频流的访问方式

在这里插入图片描述

1、IAuidoClient的几个重要方法

  1. Initialize （模式[共享，独享] …）
  2. GetBufferSize
  3. SetEventHandle
  4. GetService
①、初始化音频流

WebRTC源码中音频流初始化在 modules/audio_device/win/audio_device_core_win.cc文件中InitPlayout方法中调用的音频流初始化方法Initialize

...


  //        TODO@chensong 2022-07-24 初始化音频流
  ///
  /**
  * @param AUDCLNT_SHAREMODE : 共享模式/独占模式
  * @param DWORD             : 控制流创建的flag
  * @param REFERENCE_TIME    : 请求缓冲区的大小 [是与时间有关系的哈]
  * @param REFERENCE_TIME    : 周期时间 [10ms采集一次、 20ms采集一次]
  * @param WAVEFORMATEX      : 数据格式
  * @param LPCGUID           : Audio Session 的 GUID       
  * @return
  */

 /
  // StreamFlags 参数类型解释：
  // AUDCLNT_STREAMFLAGS_LOOPBACK		: 
  // AUDCLNT_STREAMFLAGS_EVENTCALLBACK	:
  // ...
  hr = _ptrClientOut->Initialize(
      AUDCLNT_SHAREMODE_SHARED,  // share Audio Engine with other applications
      AUDCLNT_STREAMFLAGS_EVENTCALLBACK,  // processing of the audio buffer by
                                          // the client will be event driven
      hnsBufferDuration,  // requested buffer capacity as a time value (in
                          // 100-nanosecond units)
      0,                  // periodicity
      &Wfx,               // selected wave format
      NULL);              // session GUID

  if (FAILED(hr)) {
    RTC_LOG(LS_ERROR) << "IAudioClient::Initialize() failed:";
  }
...
②、GetService方法
  1. 它是IAudioClient中的方法
  2. 用于获取IAudioRenderClient接口
  3. 用于下写数据到渲染终端的buffer

WebRTC源码中音频流初始化在 modules/audio_device/win/audio_device_core_win.cc文件中InitPlayout方法中调用的音频流初始化方法GetService


...
    
/
  //   TODO@chensong 2022-07-24 GetService 方法解释
  
  /** 
  * 
  *   @param rrid    : 接口ID
  *   @param ppv     : 输出的接口对象
  *   return STDMETHODCALLTYPE 
  */
  // Get an IAudioRenderClient interface.
  SAFE_RELEASE(_ptrRenderClient);
  hr = _ptrClientOut->GetService(__uuidof(IAudioRenderClient),
                                 (void**)&_ptrRenderClient);
  EXIT_ON_ERROR(hr);

...

总结：

WebRTC源码分析地址：https://github.com/chensongpoixs/cwebrtc

chen_song_
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
webrtc音频处理源码概述
琅嬛福地
02-03 1915
  在如下函数中，CreatePeerConnectionFactory的后面三个参数是音频处理相关的，只是webrtc peerconnection_client demo都是设为空，如果需要进行音频3A处理、混音等操作，则需要实现音频处理的接口类。 bool Conductor::InitializePeerConnection() { RTC_DCHECK(!peer_connection_factory_); RTC_DCHECK(!peer_connection_); peer_co
webrtc:简单的WebRTC，具有静音，取消静音，开始视频，停止视频功能
05-24
npm初始化-y npm我表达ejs socket.io npm我uuid npm我--save-dev nodemon npm i -g对等 要启动服务器：npm运行devStart 为了确保对等连接，请在另一个终端上运行以下命令：peerjs --port 3001 要查看输出：在浏览器中搜索localhost：3000 如果您有任何疑问，请使用我的网站问我 嗨，这是我的webrtc
WebRTC-Android改变音频输入源
yeahhaey的博客
04-15 1678
前言 该文章面向对WebRTC有一定基础的码农，如果完全没了解过WebRTC的朋友，可以点赞并私信我进行一对一辅导哦。 因为项目需要直播功能，所以用到了WebRTC，但是由于项目本身有一个特殊功能需要一直使用麦克风，而此时直播无法传输声音。经过一番定位后，应该是该特殊功能在底层直接占用了声卡的驱动，导致WebRTC去实例化AudioRecord时卡住，具体卡住的位置是： public AudioRecord(AudioAttributes attributes, AudioFormat format, in
ESP32-CAM和ESP32本地WebSocket服务器视频传输
最新发布
weixin_44874879的博客
06-24 395
ESP32-CAM 采集图像，并通过wed服务器转发到esp32上播放效果图：服务器转发的数据长度。
WebRTC-audio_device音频设备
bingshanzhu的专栏
09-14 806
AudioDeviceModule AudioDeviceModule //音频设备组件. AudioDeviceModuleForTest AudioDeviceModuleImpl 音频输送回调. 初始化. 设备枚举. 设备选择. 音频输送初始化. 音频输送控制. 音频混合器初始化. 扬声器音量控制. 麦克风音量控制. 扬声器开禁控制. 麦克风开禁控制. 立体声控...
WebRTC audio解码后播放
nuptxiaoli
05-15 1679
AudioDeviceLinuxPulse::PlayThreadProcess AudioDeviceBuffer::RequestPlayoutData VoEBaseImpl::NeedMorePlayData OutputMixer::MixActiveChannels AudioConferenceMixerImpl::Process AudioConferenceMixerI
webrtc源码第6部分
02-19
深入学习WebRTC源码，不仅能够帮助开发者理解其实现原理，还可以为自定义功能、优化性能或者调试问题提供宝贵的经验。WebRTC作为一个复杂的系统，涉及的方面众多，每一个环节都值得我们去深入研究。
Android WebRTC音频和视频通信源码
01-17
在“Android WebRTC音频和视频通信源码”中，`WebRTCDemo`很可能是项目的主示例应用。这个应用可能包含了以下关键功能： 1. **初始化 PeerConnection**: 应用需要创建一个RTCPeerConnectionFactory实例，并使用它来...
WebRTC噪声抑制源码.zip
05-11
7. **平台兼容性**：WebRTC噪声抑制源码需要考虑跨平台兼容性，包括桌面系统（Windows、macOS、Linux）和移动设备（iOS、Android）的差异，可能需要针对不同硬件和操作系统做特定优化。 深入研究WebRTC噪声抑制源码...
webRTC 源码
05-06
通过深入研究这个WebRTC源码，开发者不仅可以掌握WebRTC的基本用法，还能了解到实时通信背后的复杂网络技术，这对于构建现代Web应用程序，尤其是那些需要音视频通信功能的应用，是非常宝贵的资源。
webrtc最新源码
09-05
通过深入学习WebRTC源码，开发者不仅可以提升对实时通信技术的理解，还能掌握开发相关应用所需的技能，如构建自定义的音视频处理模块或优化网络传输效率。同时，这也有助于开发者参与到WebRTC的社区贡献中，推动技术...
WebRTC移动端自定义音视频
cbhgreat2011的博客
07-23 1372
WebRTC是基于点对点视频通话，底层协议栈主要是SRTP、UDP，基于SDP会话协议交互通话前报文（会话描述、ICE报文），通过ICE代理搜集双方的地址信息，大多数情况下音视频数据来源于手机的摄像头和麦克风，本文探讨的是基于源码自定义外部音视频数据。 1、源码下载 要开通VPN，下载基于iOS版本的源码https://webrtc.github.io/webrtc-org/native-code/ios/，需要注意的是如果源码在Linux平台下载，记得拷贝到mac之后要执行gclient sync同步
WebRTC[40]- WebRTC 如何在安卓系统上采集音频数据
liuzhen007的专栏
02-14 2343
目录 前言 正文 步骤一、获取麦克风权限 步骤二、音频采集模块初始化 步骤三、启动音频采集流程 步骤四、音频预处理 结尾 前言 WebRTC 作为一个开源的实时音视频通许方案，经过多年的发展基本上已经支持了所有的常用终端，比如 windows、mac、Android、iOS 等。我们都知道音视频通讯的前提是采集本地的音频和视频数据信息。今天，我们就来了解一下 WebRTC 在安卓端是如何采集音频信号的。 正文 上一篇文章已经介绍了 WebRTC 如何在安卓系统上采集视频数据信号，相信小
WebRTC android h264 编解码适配（三）
m370809968的专栏
08-23 2358
最近升级webrtc（m72版本），发现webrtc源码发生了不小的变动，尤其是在视频编解码这块，之前的MediaCodecVideoEncoder,MediaCodecVideoDecoder已经不再使用了，改成HardwareVideoDecoderFactory,HardwareVideoEncoderFactory了，创建编解码器也交给了上层去创建了，下面是创建编解码器的代码： ...
WebRTC源码研究（10）webrtc api 适配
kyl282889543的博客
06-09 952
文章目录WebRTC源码研究（10）webrtc api 适配 WebRTC源码研究（10）webrtc api 适配
webrtc-m79-音频处理-音频的解码流程
hclbeloved的博客
06-02 986
1 代码 AudioDeviceWindowsCore::DoRenderThread ===> int32_t nSamples = _ptrAudioBuffer->RequestPlayoutData(_playBlockSize); // AudioDeviceBuffer::RequestPlayoutData int32_t AudioDeviceBuffer::RequestPlayoutData(size_t sample
[源码分析]webrtc音频流从接收到播放的关键流程
sinat_31066863的博客
02-27 454
neteq中对音频流的RTP数据包进行了处理和解码操作。同时数据出现了跨线程的投递。如图所示，音频流从接收到播放的核心关键流程和执行线程。后面将添加对neteq模块的细节分析。后面有空补上核心对象之间的关系图。
webrtc-audio-processing pulseaudio最新版本1.0交叉编译到ARM
crl6的博客
08-18 2421
最近在研究最新版本的aec3效果，之前0.31的太老了。百度，Google搜索一边发现都是基于0.31的。也没有找到1.0版本的demo（此时官网也没有提供）。完成工作任务后，写个博客记录一下，为其它猿少踩坑。 一、先下载源码和配置开发环境： 编译webrtc的时候会依赖链接abseil-cpp库。 git clone git://github.com/abseil/abseil-cpp.git git clone https://gitlab.freedesktop.org/pulseaud...
WebRTC音频系统 之audio技术栈简介-2
shichaog的专栏
02-04 1055
WebRTC 音频组件
WebRTC源码分析
08-02
WebRTC（Web Real-Time Communication）是一个开源项目，它提供了在浏览器中实现实时音视频通信的技术。下面是对WebRTC源码的简要分析： WebRTC源码主要分为以下几个模块： 1. 信令（Signaling）模块：负责建立和维护通信的连接。它使用WebSocket或者其他协议进行通信，包括传输SDP（Session Description Protocol）和ICE（Interactive Connectivity Establishment）信息。 2. 媒体（Media）模块：处理音视频数据的采集、编码、解码和传输。媒体模块使用WebRTC提供的API，通过WebRTC的PeerConnection建立点对点的媒体通信。 3. 网络（Networking）模块：处理网络传输相关的功能，例如NAT穿越、ICE候选地址的收集和选择、STUN和TURN服务器的使用等。 4. 安全（Security）模块：处理加密和身份验证相关的功能，确保通信过程的安全性和隐私性。 5. SDP解析（SDP Parsing）模块：解析和生成SDP信息，SDP包含了关于媒体会话的描述和参数。 6. ICE代理（ICE Agent）模块：负责管理ICE协议的运行，处理候选地址的收集和选择，以及NAT穿越等功能。 7. RTP/RTCP模块：处理音视频的实时传输协议（RTP）和实时传输控制协议（RTCP），包括数据包的发送和接收、丢包恢复、拥塞控制等。 8. 编解码器（Codec）模块：负责音视频数据的编码和解码，WebRTC支持一系列开源编解码器，如VP8、VP9、H.264等。 这些模块之间相互协作，实现了基于浏览器的实时音视频通信。WebRTC的源码使用C++语言编写，涉及到了底层的网络和媒体处理，同时也提供了一系列的API供开发者使用。 请注意，由于WebRTC源码较为庞大，这里只是简要地介绍了主要模块，实际的源码分析需要深入研究和阅读源码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值