AWLive 源码解读(音频编解码)

最新推荐文章于 2023-06-12 17:25:05 发布
最新推荐文章于 2023-06-12 17:25:05 发布
阅读量368 收藏
点赞数
分类专栏： 源码解读 # AWLive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27074387/article/details/104818810
版权

音频编码

  1. 根据音频输入和输出参数创建编码器, 并设置一些编码参数
  2. 根据待编码的数据, 创建一个AudioBufferList, 根据创建的AudioBufferList编码(编码中的回调函数是编码过程中不断用来填充参数的的函数)
  3. 将编码结果回调或者发送出去

[关键代码如下] :

// - 创建编码器
-(void)open{
    /* - 输入的音频参数, 可以通过 CMSampleBufferRef 直接取到;
         AudioStreamBasicDescription inputAduioDes = *CMAudioFormatDescriptionGetStreamBasicDescription(CMSampleBufferGetFormatDescription(sampleBuffer));
    */
    AudioStreamBasicDescription inputAudioDes = {
        .mFormatID = kAudioFormatLinearPCM,
        .mSampleRate = self.audioConfig.sampleRate,
        .mBitsPerChannel = (uint32_t)self.audioConfig.sampleSize,
        .mFramesPerPacket = 1,
        .mBytesPerFrame = 2,
        .mBytesPerPacket = 2,
        .mChannelsPerFrame = (uint32_t)self.audioConfig.channelCount,
        .mFormatFlags = kLinearPCMFormatFlagIsPacked | kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsNonInterleaved,
        .mReserved = 0
    };
    
    // - 输出音频参数
    AudioStreamBasicDescription outputAudioDes = {
       .mSampleRate = (Float64)self.audioConfig.sampleRate,       //采样率
       .mFormatID = kAudioFormatMPEG4AAC,                //输出格式
       .mFormatFlags = kMPEG4Object_AAC_LC,              // 如果设为0 代表无损编码
       .mBytesPerPacket = 0,                             //自己确定每个packet 大小
       .mFramesPerPacket = 1024,                         //每一个packet帧数 AAC-1024；
       .mBytesPerFrame = 0,                              //每一帧大小
       .mChannelsPerFrame = (uint32_t)self.audioConfig.channelCount, //输出声道数
       .mBitsPerChannel = 0,                             //数据帧中每个通道的采样位数。
       .mReserved =  0                                  //对其方式 0(8字节对齐)
    };
    
    // - 填充输出的相关参数 测试 如果outputAudioDes 参数填充完全的话, 是不需要调用下边的函数的
//    UInt32 outDesSize = sizeof(outputAudioDes);
//    AudioFormatGetProperty(kAudioFormatProperty_FormatInfo, 0, NULL, &outDesSize, &outputAudioDes);
    
    // - 创建编码器
    /* 此功能与AudioConverterNewSpecific功能相同，不同之处在于，AudioConverterNewSpecific可以显式选择要实例化的编解码器, 而 AudioConverterNew 不可以选择编码器
     // - 使用软编码
     AudioClassDescription *audioClassDesc = [self getAudioCalssDescriptionWithType:outputAudioDes.mFormatID fromManufacture:kAppleSoftwareAudioCodecManufacturer];
     OSStatus status = AudioConverterNewSpecific(&inputAduioDes, &outputAudioDes, 1, audioClassDesc, &_audioConverter);
     */
    OSStatus status = AudioConverterNew(&inputAudioDes, &outputAudioDes, &_aConverter);
    if (status != noErr) {
        [self onErrorWithCode:AWEncoderErrorCodeCreateAudioConverterFailed des:@"硬编码AAC创建失败"];
    }
    
    //设置码率
    uint32_t aBitrate = (uint32_t)self.audioConfig.bitrate;
    uint32_t aBitrateSize = sizeof(aBitrate);
    status = AudioConverterSetProperty(_aConverter, kAudioConverterEncodeBitRate, aBitrateSize, &aBitrate);
    
    //查询最大输出
    uint32_t aMaxOutput = 0;
    uint32_t aMaxOutputSize = sizeof(aMaxOutput);
    AudioConverterGetProperty(_aConverter, kAudioConverterPropertyMaximumOutputPacketSize, &aMaxOutputSize, &aMaxOutput);
    self.aMaxOutputFrameSize = aMaxOutput;
    if (aMaxOutput == 0) {
        [self onErrorWithCode:AWEncoderErrorCodeAudioConverterGetMaxFrameSizeFailed des:@"AAC 获取最大frame size失败"];
    }
}

// - 编码音频参数
-(void)encodeSample:(CMSampleBuffer *)sampleBuffer{
     CMBlockBufferRef blockBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
     size_t  pcmDataLen;
     uint8_t *pcmData;
     OSStatus status = CMBlockBufferGetDataPointer(blockBuffer, 0, NULL, &pcmDataLen, &pcmData);
     self.curFramePcmData =  [NSData dataWithBytes:pcmData length:pcmDataLen];

    // - 赋值outAudioBufferList
    AudioBufferList outAudioBufferList = {0};
    outAudioBufferList.mNumberBuffers = 1;
    outAudioBufferList.mBuffers[0].mNumberChannels = (uint32_t)self.audioConfig.channelCount;
    outAudioBufferList.mBuffers[0].mDataByteSize = self.aMaxOutputFrameSize;
    outAudioBufferList.mBuffers[0].mData = malloc(self.aMaxOutputFrameSize);
    
    UInt32 outputDataPacketSize = 1;
    //配置填充函数，获取输出数据
    //转换由输入回调函数提供的数据
    /*
     参数1: inAudioConverter 音频转换器
     参数2: inInputDataProc 回调函数.提供要转换的音频数据的回调函数。当转换器准备好接受新的输入数据时，会重复调用此回调.
     参数3: inInputDataProcUserData, 传给回调函数的参数
     参数4: ioOutputDataPacketSize,输出缓冲区的大小
     参数5: outOutputData,编码后输出的数据
     参数6: outPacketDescription,输出包描述
     */
    OSStatus status = AudioConverterFillComplexBuffer(_aConverter, aacEncodeInputDataProc, (__bridge void * _Nullable)(self), &outputDataPacketSize, &outAudioBufferList, NULL);
    if (status == noErr) {
        NSData *rawAAC = [NSData dataWithBytesNoCopy: outAudioBufferList.mBuffers[0].mData length:outAudioBufferList.mBuffers[0].mDataByteSize];
        self.manager.timestamp += 1024 * 1000 / self.audioConfig.sampleRate;
    }else{
        [self onErrorWithCode:AWEncoderErrorCodeAudioEncoderFailed des:@"aac 编码错误"];
    }
}

// - 回调函数(不断填充数据)
static OSStatus aacEncodeInputDataProc(AudioConverterRef inAudioConverter, UInt32 *ioNumberDataPackets, AudioBufferList *ioData, AudioStreamPacketDescription **outDataPacketDescription, void *inUserData){
    AWHWAACEncoder *hwAacEncoder = (__bridge AWHWAACEncoder *)inUserData;
    if (hwAacEncoder.curFramePcmData) {
        // - 填充需要编码的数据
        ioData->mBuffers[0].mData = (void *)hwAacEncoder.curFramePcmData.bytes;
        ioData->mBuffers[0].mDataByteSize = (uint32_t)hwAacEncoder.curFramePcmData.length;
        ioData->mNumberBuffers = 1;
        ioData->mBuffers[0].mNumberChannels = (uint32_t)hwAacEncoder.audioConfig.channelCount;
        
        return noErr;
    }
    
    return -1;
}

音频解码

  1. 根据音频输入和输出参数创建解码器, 并设置一些解码参数
  2. 根据待解码码的数据, 创建一个AudioBufferList, 根据创建的AudioBufferList解码(解码中的回调函数是解码过程中不断用来填充参数的的函数)
  3. 将解码结果回调或者发送出去

[关键代码如下] :

// - 创建解码器
setupEncoder {
    
    //输出参数pcm
    AudioStreamBasicDescription outputAudioDes = {0};
    outputAudioDes.mSampleRate = (Float64)_config.sampleRate;       //采样率
    outputAudioDes.mChannelsPerFrame = (UInt32)_config.channelCount; //输出声道数
    outputAudioDes.mFormatID = kAudioFormatLinearPCM;                //输出格式
    outputAudioDes.mFormatFlags = (kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked); //编码 12
    outputAudioDes.mFramesPerPacket = 1;                            //每一个packet帧数 ；
    outputAudioDes.mBitsPerChannel = 16;                             //数据帧中每个通道的采样位数。
    outputAudioDes.mBytesPerFrame = outputAudioDes.mBitsPerChannel / 8 *outputAudioDes.mChannelsPerFrame;                              //每一帧大小（采样位数 / 8 *声道数）
    outputAudioDes.mBytesPerPacket = outputAudioDes.mBytesPerFrame * outputAudioDes.mFramesPerPacket;                             //每个packet大小（帧大小 * 帧数）
    outputAudioDes.mReserved =  0;                                  //对其方式 0(8字节对齐)
    
    //输入参数aac
    AudioStreamBasicDescription inputAduioDes = {0};
    inputAduioDes.mSampleRate = (Float64)_config.sampleRate;
    inputAduioDes.mFormatID = kAudioFormatMPEG4AAC;
    inputAduioDes.mFormatFlags = kMPEG4Object_AAC_LC;
    inputAduioDes.mFramesPerPacket = 1024;
    inputAduioDes.mChannelsPerFrame = (UInt32)_config.channelCount;
    
    //填充输出相关信息
    UInt32 inDesSize = sizeof(inputAduioDes);
    AudioFormatGetProperty(kAudioFormatProperty_FormatInfo, 0, NULL, &inDesSize, &inputAduioDes);
    
    //获取解码器的描述信息(只能传入software)
    AudioClassDescription *audioClassDesc = [self getAudioCalssDescriptionWithType:outputAudioDes.mFormatID fromManufacture:kAppleSoftwareAudioCodecManufacturer];
    /** 创建converter
     参数1：输入音频格式描述
     参数2：输出音频格式描述
     参数3：class desc的数量
     参数4：class desc
     参数5：创建的解码器
     */
    OSStatus status = AudioConverterNewSpecific(&inputAduioDes, &outputAudioDes, 1, audioClassDesc, &_audioConverter);
    if (status != noErr) {
        NSLog(@"Error！：硬解码AAC创建失败, status= %d", (int)status);
        return;
    }
}


/**
 获取解码器类型描述
 参数1：类型
 */
- (AudioClassDescription *)getAudioCalssDescriptionWithType: (AudioFormatID)type fromManufacture: (uint32_t)manufacture {
    
    static AudioClassDescription desc;
    UInt32 decoderSpecific = type;
    //获取满足AAC解码器的总大小
    UInt32 size;
    /**
     参数1：编码器类型（解码）
     参数2：类型描述大小
     参数3：类型描述
     参数4：大小
     */
    OSStatus status = AudioFormatGetPropertyInfo(kAudioFormatProperty_Decoders, sizeof(decoderSpecific), &decoderSpecific, &size);
    if (status != noErr) {
        NSLog(@"Error！：硬解码AAC get info 失败, status= %d", (int)status);
        return nil;
    }
    //计算aac解码器的个数
    unsigned int count = size / sizeof(AudioClassDescription);
    //创建一个包含count个解码器的数组
    AudioClassDescription description[count];
    //将满足aac解码的解码器的信息写入数组
    status = AudioFormatGetProperty(kAudioFormatProperty_Encoders, sizeof(decoderSpecific), &decoderSpecific, &size, &description);
    if (status != noErr) {
        NSLog(@"Error！：硬解码AAC get propery 失败, status= %d", (int)status);
        return nil;
    }
    for (unsigned int i = 0; i < count; i++) {
        if (type == description[i].mSubType && manufacture == description[i].mManufacturer) {
            desc = description[i];
            return &desc;
        }
    }
    return nil;
}

// - 解码数据
- (void)decodeAudioAACData:(NSData *)aacData {
   
    if (!_audioConverter) { return; }
    
    dispatch_async(_decoderQueue, ^{
     
        //记录aac 作为参数参入解码回调函数, 在回调函数中使用userData来不断填充数据
        CCAudioUserData userData = {0};
        userData.channelCount = (UInt32)_config.channelCount;
        userData.data = (char *)[aacData bytes];
        userData.size = (UInt32)aacData.length;
        userData.packetDesc.mDataByteSize = (UInt32)aacData.length;
        userData.packetDesc.mStartOffset = 0;
        userData.packetDesc.mVariableFramesInPacket = 0;
        
        //输出大小和packet个数
        UInt32 pcmDataPacketSize = 1024;
        // - 数据包数量*每个数据包中字节数*声道数.
        UInt32 pcmBufferSize = (UInt32)(pcmDataPacketSize * (_config.sampleSize / 8) * _config.channelCount);
        
        //创建临时容器pcm
        uint8_t *pcmBuffer = malloc(pcmBufferSize);
        memset(pcmBuffer, 0, pcmBufferSize);
        
        //输出buffer
        AudioBufferList outAudioBufferList = {0};
        outAudioBufferList.mNumberBuffers = 1;
        outAudioBufferList.mBuffers[0].mNumberChannels = (uint32_t)_config.channelCount;
        outAudioBufferList.mBuffers[0].mDataByteSize = (UInt32)pcmBufferSize;
        outAudioBufferList.mBuffers[0].mData = pcmBuffer;
                
        //配置填充函数，获取输出数据
        OSStatus status = AudioConverterFillComplexBuffer(_audioConverter, &AudioDecoderConverterComplexInputDataProc, &userData, &pcmDataPacketSize, &outAudioBufferList, NULL);
        if (status != noErr) {
            NSLog(@"Error: AAC Decoder error, status=%d",(int)status);
            return;
        }
        //如果获取到数据
        if (outAudioBufferList.mBuffers[0].mDataByteSize > 0) {
            NSData *rawData = [NSData dataWithBytes:outAudioBufferList.mBuffers[0].mData length:outAudioBufferList.mBuffers[0].mDataByteSize];
            dispatch_async(_callbackQueue, ^{
                [_delegate audioDecodeCallback:rawData];
            });
        }
        free(pcmBuffer);
    });
}

// - 回调函数, 不断的填充数据
//解码器回调函数
static OSStatus AudioDecoderConverterComplexInputDataProc(  AudioConverterRef inAudioConverter, UInt32 *ioNumberDataPackets, AudioBufferList *ioData,  AudioStreamPacketDescription **outDataPacketDescription,  void *inUserData) {
    
    
    CCAudioUserData *audioDecoder = (CCAudioUserData *)(inUserData);
    if (audioDecoder->size <= 0) {
        ioNumberDataPackets = 0;
        return -1;
    }
    
    ioData->mBuffers[0].mData = audioDecoder->data;
    ioData->mBuffers[0].mDataByteSize = audioDecoder->size;
    ioData->mBuffers[0].mNumberChannels = audioDecoder->channelCount;
    
    return noErr;
}

源码地址1
源码地址2

Li.CQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
c语言 sbc 音频编解码算法
08-09
纯C语言编写的 SBC 音频编解码算法，包含测试demo，压缩比可以更加需求进行调节
Android 音频设备信息加载
tq08g2z的专栏
03-24 1572
Android 系统的守护进程 audioserver 中运行着多个与音频相关的系统服务，主要包括和，当需要支持 AAudio 的 MMap 模式时，会运行。需要启动服务时，audioserver 程序会 fork 一个进程运行其它那些系统服务，在父进程中运行，并将进程名修改为。
Audio Unit: iOS中最底层最强大音频控制API
weixin_33788244的博客
05-06 903
阅读前提: Audio Session基础(Audio Session) Core Audio基本数据结构(Core Audio) 音视频基础知识 C/C++ 简单数据结构,函数使用 以下概念是文中常用的词语,因为其含义一般直接用英文表达, 一般不需中文翻译,可将其理解为固定名词词组. audio unit: 主要介绍的技术名称 audio processing graph: 另一种处理au...
AWLive 结构体的使用
Coder
11-30 97
结构体声明 // - 声明三种结构体 struct aw_flv_audio_tag; struct aw_flv_video_tag; struct aw_flv_script_tag; // - 定义这三种结构体的变量 typedef struct aw_flv_common_tag{ union{ struct aw_flv_audio_tag *audio_tag; struct aw_flv_video_tag *video_tag;
1小时学会直播程序源码推流h264/aac 硬编码
云豹直播源码
09-22 562
1小时学会直播程序源码推流h264/aac 硬编码 现在就介绍一下如何将pcm编码aac，将NV12数据编码为h264。 编码分为软编码和硬编码。 硬编码是系统提供的，由系统专门嵌入的硬件设备处理音视频编码，主要计算操作在对应的硬件中。硬编码的特点是，速度快，cpu占用少，但是不够灵活，只能使用一些特定的功能。 软编码是指，通过代码计算进行数据编码，主要计算操作在cpu中。软编码的特点是，灵活，多样，功能丰富可扩展，但是cpu占用较多。 在代码中，编码器是通过AWEncoderManager获取的
基于 CoreAudio 的音频编解码（一）：音频解码
记录学习的过程
11-24 1247
系列文章目录 基于 CoreAudio 的音频编解码（一）：音频解码 基于 CoreAudio 的音频编解码（二）：音频编码 前言 Core Audio 是iOS和MAC系统中的关于数字音频处理的基础，它是应用程序用来处理音频的一组软件框架，所有关于iOS音频开发的接口都是由Core Audio来提供或者经过它提供的接口来进行封装的。 下图是 Core Audio 框架结构，其功能可谓是丰富且强大，几乎涵盖了所有与音频处理相关的内容。 这篇文章中，我们关注 Core Audio 中编解码能力，也就
全志okt507cedarx编码nv21
fan8722的博客
12-22 470
全志cedarx视频编码
音频编解码库Lame源码
10-17
LAME 是比较好的MP3编码器，可以编码出高品质的MP3。
G729a音频编解码.rar
09-11
G729a音频编解码库源码--本程序用VC编写，使用简单，是一个非常不错的音频编解码程序。VS2017编译通过
AAC编解码源码.zip
06-12
aac音频压缩编解码源码 方便进行音频压缩，使用到mp4V2库，mp4av，mp4ff，这是包含SBR的最新AAC编解码算法
Flash播放器AW源码
10-04
学习Authorware 7.多媒体制作
易语言源码易语言URL编解码源码.rar
02-17
易语言源码易语言URL编解码源码.rar
IOS Audio 数据结构说明
leonpengweicn的专栏
10-30 1593
struct AudioStreamBasicDescription { Float64 mSampleRate; //44100; 采样率 (立体声 = 8000) UInt32 mFormatID; //kAudioFormatLinearPCM; 音频格式 UInt32 mFormatFlags;//kLinearPCMFormatFlagIsSignedInteger
iOS音频---音频基本概念
了凡
04-04 1450
iOS音频—音频基本概念 转载自：音频基本概念 在优化语音输入、语音播放需求，需要整理一下音频的基本概念。 声音的原理 声音是振动产生的声波，通过介质（空气或固体、液体）传播并能被人或动物听觉器官所感知的波动现象。当物体振动时，同时伴随声音的产生。当振动体不再振动时，声音也随之停止。所以从生活的观察中可以归纳出：声音是由物体的振动所引起。 声音的频率一般会以赫兹表示，记为Hz，指每秒周期性震动的次...
基于 CoreAudio 的音频编解码（二）：音频编码
记录学习的过程
11-24 935
系列文章目录 基于 CoreAudio 的音频编解码（一）：音频解码 基于 CoreAudio 的音频编解码（二）：音频编码 前言 在 基于 CoreAudio 的音频编解码（一）：音频解码 中，我们介绍了 Core Audio 中常见的数据结构和基本概念，如果你还没有看过这些内容，最好去看一看。 Core Audio 表示音频的数据的方式并不是告诉你 ”hi，这是个 mp3 文件“ 那么简单。文件格式和文件内的音频数据格式之间有很大的区别。 关于格式的很多内容看起来似乎很随意，但 Audio Fi
iOS CoreAudio学习笔记（二）—— The Story of Sound
DH's Den
04-03 2471
这一章将介绍基础的声音科学，它是什么，它怎样工作。事实证明，计算机的数字化天性使它们并不那么适合处理连续的模拟信号。这引导了对信号采样的思想，或者将平滑的声波斩为频率足够大的离散值，而人耳无法注意到差别。这一章覆盖了这些采样在数字化形态中是怎样被表示和整理分类的。
ffmpeg开发播放器学习笔记 - 解码音频,使用AudioQueue 播放
yinshipin007的博客
06-12 338
该节是的第六节《ffmpeg解码音频,使用AudioQueue 播放》ffmpeg音频解码后的数据是PCM(Pulse Code Modulation，脉冲编码调制)音频数据是未经压缩的音频采样数据裸流，它是由模拟信号经过采样、量化、编码转换成的标准数字音频数据。
1小时学会：最简单的iOS直播推流（五）yuv、pcm数据的介绍和获取
热门推荐
hard_man的专栏
11-16 1万+
最简单的iOS 推流代码，视频捕获，软编码(faac，x264)，硬编码（aac，h264），美颜，flv编码，rtmp协议，陆续更新代码解析，你想学的知识这里都有，愿意懂直播技术的同学快来看！！ 源代码：https://github.com/hardman/AWLive 群：552660248 前面介绍了如何通过相机实时获取音视频数据。我们接下来就需要了解获取到的数据到底是什么
iOS：制作简易的 AAC 播放器 —— 了解音频的播放流程
SOHU_TECH的博客
08-26 661
本文字数：1872字预计阅读时间：8分钟常用的播放文件，如 mp3、aac 都是已经封装的音频格式，将它们的文件提供到系统音频库或者第三方音频库，如 AVPlayer、IJKP...
ape音频文件解码源码
最新发布
10-18
ape音频文件解码源码是指用于解码ape格式音频文件的源代码。ape格式是一种无损音频压缩格式，具有高保真性能，适合音乐发烧友使用。 ape音频文件解码源码通常包含以下主要内容： 1. 文件解析：源码会解析ape音频...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值