Core Audio音频基础概述

最新推荐文章于 2024-07-25 17:20:49 发布

【零声教育】音视频开发进阶

最新推荐文章于 2024-07-25 17:20:49 发布

阅读量596

点赞数

分类专栏：音视频开发程序员编程文章标签：音视频 ios ffmpeg C++ webrtc

本文链接：https://blog.csdn.net/irainsa/article/details/129750917

版权

1、Core Audio

Core Audio提供了数字音频服务为iOS与OS X, 它提供了一系列框架去处理音频.

Core Audio中包含我们最常用的Audio Toolbox与Audio Unit框架.

使用Audio Queue做录制,播放,暂停,循环与同步音频
使用Audio File, Converter, Codec Services去从磁盘读取与写入以及执行音频转换等功能.
使用Audio Unit与Audio Processing Graph在应用程序中管理音频单元.在OS X中可以自定义audio units.
使用Music Sequencing Services播放基于MIDI控制的音频数据
使用Core Audio Clock Services用于音频和MIDI同步以及时间格式管理
使用System Sound Services播放系统声音与界面的音效.

Core Audio在iOS中针对移动平台的计算资源作出了优化,同时,音频服务必须严格由系统进行管理,特别是HAL与I/O Kit,然而Apple也提供了只在iOS平台中才有的服务,如Audio Session Service将帮助我们管理音频上下文.

1.1 Digital Audio与Linear PCM

PCM是最常用的无损压缩数字音频格式数据,根据采样率以规则间隔测量模拟(真实世界)数字音频信号并将每个采集到的样本转换为数值来创建PCM数据.如标准光盘（CD）音频使用44.1 kHz的采样率，16位整数描述每个样本 - 构成分辨率或位深度。

sample:一个采样点是对单声道采集到声音的数值
frame:一帧数据是一组时间一致的samples,如双声道声音文件中一帧有两个samples,一个左声道,一个右声道.
packet:一个或多个连续帧的集合.在线性PCM中,一个packet总是单帧.在其他压缩格式中,一个packet定义给定音频数据格式的最小有意义的帧组。

iOS中使用integer与fixed-point音频数据,目的是在处理音频数据时增加计算速度,减小电池能耗.iOS也提供了来自Audio Converter Services的Converter audio unit服务.

iOS与OS X中,Core Audio提供了最常用的文件格式用于存储域播放音频数据.

1.2 Audio Unit

Apple针对移动平台对iOS的Audio Unit作出了效率与性能优化,在开发中我们必须将audio unit静态编译进APP,所以无法使用别的APP中的Audio Unit.

1.3 HAL(Hardware Abstraction Layer)

大多情况下,我们无法直接与HAL进行交互,Apple提供了一个特别的audio unit,即OS X中的AUHAL, iOS中的AURemoteIO, 我们可以通过它们让音频与硬件交互.

1.4 Properties, Scopes, and Elements

Core Audio接口中使用property管理对象的行为与状态.

属性通常用易记忆的关键字格式,如kAudioFilePropertyFileFormat or kAudioQueueDeviceProperty_NumberChannels.
属性值适用于特定的数据类型,如void*, Float64, AudioChannelLayout...
Core Audio对象有一个内部结构,其中每一部分都有属于自己的属性,如一个audio unit对象都有一个input scope, output scope, global scope. 每个scope由一个或多个elements(类似于音频总线)组成.

1.5 回调函数

Core Audio中常用回调函数以实现音频数据通信,回调函数常有一下功能

提供给应用程序音频数据(如:用麦克风进行录制,将麦克风采集的数据通过回调函数传给使用者)
从应用程序中请求音频数据(如:播放回调)
监听某个对象状态的变化

为了去使用回调函数,我们需要做以下两件事情

注册回调函数(如实现录制,播放回调,需要我们在初始化时提供一个函数)
实现回调函数的功能.(实现初始化时提供的函数)

Note: 在OC中,回调函数是一个C语言形式的函数,我们回调OC本类对象作为对象传入其中, 所以回调函数中不能直接引用self.xxx,需要借助传入的OC对象去实现本类的功能.

1.6 音频数据格式

Core Audio封装了音频数据格式，我们只需要对给定结构体赋正确的参数即可。

struct AudioStreamBasicDescription {
    Float64 mSampleRate;
    UInt32  mFormatID;
    UInt32  mFormatFlags;
    UInt32  mBytesPerPacket;
    UInt32  mFramesPerPacket;
    UInt32  mBytesPerFrame;
    UInt32  mChannelsPerFrame;
    UInt32  mBitsPerChannel;
    UInt32  mReserved;
};
typedef struct AudioStreamBasicDescription  AudioStreamBasicDescription;

struct  AudioStreamPacketDescription {
    SInt64  mStartOffset;
    UInt32  mVariableFramesInPacket;
    UInt32  mDataByteSize;
};
typedef struct AudioStreamPacketDescription AudioStreamPacketDescription;

注意，上面结构体中mReserved是Apple的保留参数，必须为0. 其他一些参数在特定情况下也需为0，如：压缩音频格式每个sample使用不同数量的bits。对于这些格式，mBitsPerChannel成员的值为0。

为AudioStreamBasicDescription赋值

你可以手动为ASBD的成员赋值，如果有些值是你不知道的，可以赋0，Core Audio将自动选择适当的值。

标准的音频数据格式

iOS: 线性PCM 16bit integer, Noninterleaved linear PCM 8.24bit 定点samples

struct AudioStreamBasicDescription {
    mSampleRate       = 44100.0;
    mFormatID         = kAudioFormatLinearPCM;
    mFormatFlags      = kAudioFormatFlagsAudioUnitCanonical;
    mBitsPerChannel   = 8 * sizeof (AudioUnitSampleType);                    // 32 bits