音视频开发：音频编码原理+采集+编码实战

最新推荐文章于 2024-08-19 15:35:10 发布
最新推荐文章于 2024-08-19 15:35:10 发布
阅读量868 收藏 4
点赞数
分类专栏： 音视频开发 文章标签： 音视频 音视频开发 C++音视频 PCM AAC 视音频编解码 编解码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73443478/article/details/134161504
版权

原理：

  1. 消除冗余信息，压缩量最大，也叫有损压缩
  • 剔除人耳听觉范围外的音频信号20Hz以下和20000Hz以上；
  • 去除被掩蔽的音频信号，信号的遮蔽可以分为频域遮蔽和时域遮蔽；
  • 频域遮蔽效应
    屏蔽70分贝以下，20HZ以下，20000HZ以上
    屏蔽分贝小，频率小的声音
    两个频率相近发出的声音，去除低强度的，也就是分贝高的会盖住分贝低的

  • 时域遮蔽效应：
    根根时间推移，相近频率且同时出现的声音，声音强度高的遮蔽强度低的声音，并且去除同一时间段前后杂音，前遮蔽50毫秒，后遮蔽200毫秒，在这段时间内的声音，强度越接近就越会被屏蔽。

  1. 去除冗余信息后，再进行无损压缩；
  • 无损压缩就是压缩后的数据能够解压缩进行还原，有损则不能；
  • 熵编码中有
    哈夫曼编码：用一个很小的二进制数代替一个长的字符串，频率越高，编码越小，频率越低，编码越长
    算术编码：利用小数进行编码，在香农编码的基础改进而来的
    香农编码

音频编码过程

数据先同时通过 时域转频域变换器和心理学模型处理数据，前者将数据转换成多种频段的数据，然后剔除不需要的频段数据，后者会去除非人耳听到的范围声音和一些复合声音，最后将两者合并经过量化编码，无损编码之类的，形成比特流数据，在此之前还会有一些辅助数据，此后数据就会变得非常小；

常见的音频编码器

opus、aac、Ogg、Speex、iLBC、AMR、G.711, 最常用的编码器是opus aac。
opus常用于直播，尤其是无延迟的直播，webrtc默认使用opus;
AAC是应用最广泛的编解码；
Ogg收费；
Speex支持回音消除；
G.711一般用于固定电话，声音损耗严重，通话会失真；

本文福利， 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs），有需要的可以进企鹅裙927239107领取哦~

 

AAC比较适合有一定延迟的直播，AAC-LD属于低延迟编码器

  • AAC编码器：目前应用最广泛,如iOS、安卓和其他嵌入式设备都包含了AAC硬件编解码器，主要学习这个编码器；
    用来取代mp3，比mp3更高的压缩比和保真性更强；



常用的规格有AAC LC、AAC HE V1 、AAC HE V2三种；

AAC HE V1 = AAC + SBR；
AAV HE V2 = AAC + SBR + PS；
目前AAC HE V1 已经被取代 V2 取代了；

V2的码流跟V1的差别不是很大，根据声音的数据变化，如果两个声道的差别很大，码流差别就会越小；

AAC 中header有两种格式：

就相当于在aac数据前面加了个Header，header里面就会包含aac数据的一些信息，方便进行编解码

  1. ADIF（Audio data interchange format）： 特点是只能从头开始解码，可以确定的找到音频数据的开始部分，不能从音频数据中间开始，这种格式常用于磁盘文件中；
  2. ADTS（Audio Data Transport Format）：在每一帧的数据里面都会有一个同步字，也就是每帧都有一个header，所以他可以在任意的位置开始进行解码，就像流式数据；
  • ADTS结构： 由7-9个字节组成，通常情况下是7个字节，如果有CRC 就是9个字节，字节中的每一位都有独特的含义；
    • 1~12bit：全部是1也就是0xFFF，表示是同步字；
    • 13：编码规范 0 = MPEG-4 1 = MPEG-2；
    • 14~15：总是0；
    • 16：是否有保护 1 代表 没有 CRC 0 代表有CRC；
    • 17~18：表示的是MPEG-4的音频类型：AAC LC、 AAC HE V1 、AAC HE V2
    • 19~22：表示的是采样率
    • 24~26：通道数
    • 31~33：数据长度，也包括了header的长度
  • 剩余的之后补上



其中每一十进制数对应的含义：

Audio Object Type: 在代码中实际获取类型的时候需要进行+1，才是下面的类型
1 == AAC main
2 == AAC LC
5 == SBR == HE V1
29 == ps == HE V2

其中的采样率是通过十进制数表示的一个采样率，有一个表，比如：0 == 96000Hz 1 == 88200HZ 等

音频采集实战

每个端音频采集的底层和应用层的库是不一样的，所以使用ffmpeg中间层能够实现跨平台开发；

  • Android端的底层库是AudioRecorder，应用层是MediaRecorder；
  • iOS端的底层库是AudioUnit，应用层是AVFoundation；
  • Windows端的常用的是Directshow OpenAL 还有Windows7之上的AudioCore；

使用ffmpeg有两种采集方式：

  1. 使用命令方式，命令详情查看ffmpeg相关指令的那篇
  2. 使用代码调用api的方式
  • 在mac下的动态库需要对动态库进行签名

获取本地签名证书列表：/usr/bin/security find-identity -v -p codesigning
查看动态库是否签名： codesign -d -vv 动态库文件
签名命令：codesign -fs "iPhone Distribution: 你的签名证书." 动态库文件
xcode环境：13.2.1
签名了如果还是报错，关掉沙盒并且设置 Enable Hardened Runtime 为NO
在项目中设置user header search path的时候，要使用全路径方式，我使用$(PROJECT_NAME)方式，有的头文件在链接的时候会报错；

采集音频的步骤：

  1. 打开输入输出设备，涉及的包是avdevice avformat 注册设备 设置采集方式，根据平台选择，即设置输入 打开音频设备
  2. 获取数据包 包：avcodec 主要使用av_read_frame方法获取数据 将数据放入packet中 在读取的时候注意缓冲区无未准备好的情况
  3. 将数据输出到文件 创建文件--- fopen 将数据写入文件-- fwrite 关闭文件 -- fclose
  • 打开设备 ·
void startRecorder(void) {
    // 上下文
    AVFormatContext *av_context = NULL;
    AVDictionary *options = NULL;
    // 1. 注册设备
    avdevice_register_all();
    
    // 2. 设置采集方式
    //设置采集方式 mac os 下是AVfoundation Windows下是dshow  linux 下是alsa
    AVInputFormat *format = av_find_input_format("avfoundation");
    
    // 3. 打开设备
    //里面的识别格式为[[video device]:[audio device]]  这里写0 是获取第1个音频设备
    char *name = ":0";

    // url 是路径 可以是网络路径也可以是本地路径 本地路径mac下的格式是 video ： audio 这里表示获取第一个音频设备
    int result = avformat_open_input(&av_context, name, format, &options);
    
    if (result != 0) {
        
        char errors[1024];
        // 根据返回值生成错误信息
        av_make_error_string(errors, 1024, result);
        printf("打开设备失败：%s\n", errors);
        return;
    }
    
    printf("打开设备成功！\n");
    

    get_audio_packet(av_context,&packet_callback);
    
    // 关闭输入 上下文
    avformat_close_input(&av_context);
    
}
  • 读取数据和存储到文件
void get_audio_packet(AVFormatContext *context, void (*packet_callback)(AVPacket)) {
    
    // w == 写  b == 二进制  + == 没有就创建文件
    FILE *f = fopen("/Users/cunw/Desktop/learning/音视频学习/音视频文件/code_recorder.pcm", "wb+");
    
    
    AVPacket *packet = av_packet_alloc();
    int result = -1;
    // 循环读取设备信息
    // result == -35 是Resource temporarily unavailable 因为获取太频繁 设备未准备好，还正在处理数据  
  // 因为输入设备准备好需要时间  睡一秒后再读取  
     sleep(1.0);
    while ((result = av_read_frame(·context, packet)) == 0  || result == -35) {
     
        if (packet->size > 0) {
            packet_callback(*packet);
            fwrite(packet->data, packet->size, 1, f);
            // 每读取一次 就清空数据包 不然数据包会一直增大
            av_packet_unref(packet);
          
        }
    }
    
    if (result != 0) {
        char errors[1024];
        av_make_error_string(errors, 1024, result);
        
        printf("get packet occured error is \"%s\" \n", errors);
    }
    
    // 将缓冲区剩余的数据 强制写入文件
    fflush(f);
    fclose(f);
    
    // 释放packet空间
    av_packet_free(&packet);
    
}
// 回调函数
void packet_callback(AVPacket packet) {
    
    printf("packet size is %d\n",packet.size);

}
  • 播放
  • ffplay 播放pcm数据： ffplay -ar(采样率) 44100 -ac（通道数） 2 -f（采样大小）f32le 文件名

音频编解码实战

音频重采样

就是将音频三元组（采样率 采样大小 通道数）的值转成另外一组值

1. 应用场景：

1、从设备采集的音频数据与编码器要求的不一致;
2、扬声器要求的音频数据与要播放的音频数据不一致；
3、方便运算：例如回音消除 将多声道变为单声道;

2. 如何判断是否需要重采样

  • 了解音频设备的参数
  • 查看ffmpeg源码

3. 重采样的步骤

api：需要使用libswresample库

1. 创建重采样上下文

 - swr_alloc_set_opts 通过设置采样参数获取上下文

2. 设置参数

- 参数大体分为输出的采样率、采样大小、声道和输入的采样率、采样大小、声道；
- out_ch_layout：表示声道也可以是布局（扬声器的布局）AV_CH_LAYOUT_STEREO  立体声；
- out_sample_fmt：输出的采样格式 16 = AV_SAMPLE_FMT_S16 或者 32 =  AV_SAMPLE_FMT_FLT；
-  av_sample_fmt_s16 in_ch_layout：输入的声道布局  ；
-  in_sample_fmt 输入的采样格式 ；
-  in_sample_rate:  输入的采样率；
-  后两位是log相关 0，null

3. 初始化重采样

- swr_init 初始化上下文

4. 进行重采样

- swr_convert 开始转换 ，目的就是将输入缓冲区的数据写入输出缓冲区
  out：输出结果缓冲区 out_count：每个通道的采样数 
  in：输入的缓冲区 in_count：输入的单个通道的采样数  
- 因为重采样的数据需要重新构造所以需要创建输入缓冲区和输出缓冲区  
  使用av_sample_array_and_samples audio_data创建
  其中的单通道采样数（单位是字节）`nb_samples = pkt.size / (32位 / 8) / 2（通道数）` 
  linessize：缓冲区大小  align:对齐 0 
- 在转换前需要将pkt的data按字节拷贝到输入缓冲区，调用memcpy需要引用string.h

- 将输出数据写入文件
  将输出缓冲区已经转换的数据写入文件

5. 释放资源

- 还有输入输出缓冲区的释放av_freep
- swr_free释放上下文

重采样上下文初始化代码

SwrContext * init_swr_context(void) {
    
    SwrContext *context = NULL;
    
    // 假设已经提前知道输入音频数据的三要素的值 AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_FLT, 44100
    context = swr_alloc_set_opts(NULL,
                                 AV_CH_LAYOUT_STEREO,
                                 AV_SAMPLE_FMT_S16,
                                 44100,
                                 AV_CH_LAYOUT_STEREO,
                                 AV_SAMPLE_FMT_FLT,
                                 44100,
                                 0, NULL);
    
    int result = swr_init(context);
    
    if (result != 0) {
        char error[1024];
        av_make_error_string(error, 1024, result);
        printf("初始化重采样上下文失败：%s", error);
    }
    
    return context;
}

将采集的数据重采样后 写入文件代码

void get_audio_packet(AVFormatContext *context, void (*packet_callback)(AVPacket)) {
    
    // w == 写  b == 二进制  + == 没有就创建文件
    FILE *f = fopen("/Users/cunw/Desktop/learning/音视频学习/音视频文件/resample.pcm", "wb+");

    // 初始化重采样上下文
    SwrContext *swr_context = init_swr_context();

    // 初始化转换的输入输出缓冲区
    uint8_t **out_buffer = NULL;
    int linesize_out = 0;
    av_samples_alloc_array_and_samples(&out_buffer, &linesize_out, 2, 512, AV_SAMPLE_FMT_S16, 0);
    uint8_t **in_buffer = NULL;
    int linesize_in = 0;
    // nb_samples 单通道采样数 4096 / (32 / 8) / 2 = 1024
    av_samples_alloc_array_and_samples(&in_buffer, &linesize_in, 2, 512, AV_SAMPLE_FMT_FLT, 0);


    AVPacket *packet = av_packet_alloc();
    int result = -1;
    // 循环读取设备信息
    // result == -35 是Resource temporarily unavailable 因为获取太频繁 设备未准备好，还正在处理数据
    sleep(1);
    while (((result = av_read_frame(context, packet)) == 0  || result == -35) && isRecording == 1) {

        if (packet->size > 0) {


            // 开始转换数据
            // 先将音频数据拷贝到输入缓冲区  只是重采样音频的话  只需要处理数组的第一个
            memcpy(in_buffer[0], packet->data, packet->size);
            // 再进行转换
            swr_convert(swr_context, out_buffer, 512, (const uint8_t **)in_buffer, 512);

            fwrite(out_buffer[0],linesize_out, 1, f);
            // 每读取一次 就清空数据包 不然数据包会一直增大
            av_packet_unref(packet);
        }

    }

    if (result != 0) {
        char errors[1024];
        av_make_error_string(errors, 1024, result);

        printf("get packet occured error is \"%s\" \n", errors);
    }

    // 释放重采样资源
    if (in_buffer) {
        av_freep(&in_buffer[0]);
    }
    if (out_buffer) {
        av_freep(&out_buffer[0]);
    }
    av_freep(&in_buffer);
    av_freep(&out_buffer);
    swr_free(&swr_context);

    // 将缓冲区剩余的数据 强制写入文件
    fflush(f);
    fclose(f);

    // 释放packet空间
    av_packet_free(&packet);
    
    
}

ffmpeg 音频数据编码

本文福利， 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs），有需要的可以进企鹅裙927239107领取哦~

在使用fdk_aac编码器的时候，由于默认的ffmpeg有自带的aac，所以通过avcodec_find_encoder_by_name("libfdk_aac")就获取不到。在编译的时候加上--enable-libfdk-aac。注意：重新编译安装ffmpeg之前最好先删掉之前的ffmpeg，然后更新项目中的动态库；
如果还不行，试试单独下载安装[fdk_aac](https://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html)，再重新编译ffmpeg

  1. 创建编码器 avcodec
    1. avcodec_find_encoder 一种通过名字查找 一种是通过id查找，id的查找方式只会找默认的编码器，比如aac，如果是fdkaac就需要通过名字查找；
  2. AV_CODEC_ID_AAC | opus 其他编码器
  3. "libfdk_aac"， aac默认的规格是AAC LC
  4. 创建上下文 avcodexcontext
    设置音频三要素
  5. avcodec_alloc_context3
    3表示第三个版本
  6. sample_fmt = av_sample_FMT_S16 aac编码器不支持flt 32位
  7. chnnel_layout = AV_CH_LAYOUT_STEREO（ 或者chanels = 2）
  8. sample_rate = 44100
  9. bit_rate = 64000; （KB 码率）可选设置
  10. profile = FF_PROFILE_AAC_HE_V2; （只有bit_rate=0 才有用） 可选设置，设置编码器规格
  1. 打开编码器
  2. avcodex_opne2
    2表示第二个版本
    送数据给编码器时，编码器内部有一个缓冲区，缓冲一部分数据后才进行编码
  1. 编码
  2. 用AVFrame包装未编码的数据，相当于是个输入，用AVPacket包装已编码的数据，相当于是个输出；
  3. 调用avcodec_send_frame 将avframe缓冲区的数据发送给编码器，如果返回值大于0，就表示数据成功发送到了编码器，接着就可以通过循环使用 avcodec_receive_packet读取编码好的数据到AVPacket，并写入文件中，如果读取的结果是AVERROR(EAGIN)或者是AVERROR_EOF，就停止读取，如果是其他的负数，就停止编码；
  4. av_frame_alloc 堆区初始化frame
  5. 设置frame的nb_samples 单通道一个数据帧采样数 512
  1. format 每个采样的大小 av_sample_fmt_s16
  2. channel_layout 声道 av_ch_layout_stereo
  3. av_frame_get_buffer 分配frame里面buffer的大小
  4. 还要判断frame的buffer是否分配成功
  5. 将重采样后的数据memcpy到frame->data中
  6. 再将frame中的数据塞到编码器上下文中 avcodec_send_frame，该函数会返回一个int ， 当结果>=0的时候表明有数据已经在编码缓冲区了；
  7. avcodec_receive_packet 读取编码好的数据 avpacket
  8. av_packet_alloc 分配编码后的数据空间
  9. 因为编码器上下文中有一个缓冲区，其中会缓存多个frame，因此并不是每塞一个frame就会有一个packet出来，所以需要通过一个while循环判断编码器的数据是否>=0,再通过avcodec_receive_packet获取packet，该函数也会返回一个int，如果返回值>=0表明获取成功，如果失败直接退出编码，这个值返回值还有其他含义，需要判断eagain 表明编码器没有数据了或者是有数据但是不够编码 这个eagain需要用AVERROR包装成一个负数，表明数据还没准备好 averror_eof 表明一点数据都没有了；
  10. 最后将数据编码后的数据写入到文件pkt->data,数据格式就是aac了；
  11. 在停止录制的时候，由于编码的缓存区可能还有数据，在最后关闭之前，再去取一遍编码数据放入文件；
  1. 释放资源

在结束的时候释放frame（av_frame_free） 和packet（av_packet_frame）；

编码实战代码：

1. 创建fdk_aac编码器及上下文

AVCodecContext* init_codec_context(void) {
    
    // 创建aac编码器
    AVCodec *codec = avcodec_find_encoder_by_name("libfdk_aac");
    
    // 初始化上下文
    AVCodecContext *context = NULL;
    context = avcodec_alloc_context3(codec);
    context->sample_fmt = AV_SAMPLE_FMT_S16;
    context->sample_rate = 44100;
    context->channel_layout = AV_CH_LAYOUT_STEREO;
    context->bit_rate = 0;
    // bitrate == 0 才会生效
    context->profile = FF_PROFILE_AAC_HE_V2;
    
    int result = avcodec_open2(context, codec, NULL);
    if (result < 0) {
        char error[1024];
        av_make_error_string(error, 1024, result);
        av_log(NULL, AV_LOG_DEBUG, "创建AAC编码器失败：%s",error);
    }
    
    return context;
    
}

2. 创建输入缓冲区

AVFrame* create_audio_input_frame(void) {
    
    AVFrame *codec_frame = NULL;
    codec_frame = av_frame_alloc();
    
    codec_frame->nb_samples = 512;
    codec_frame->channel_layout = AV_CH_LAYOUT_STEREO;
    codec_frame->format = AV_SAMPLE_FMT_S16;
    int buffer_result = av_frame_get_buffer(codec_frame, 0);
    if (buffer_result < 0) {
        char error[1024];
        av_make_error_string(error, 1024, buffer_result);
        printf("frame 缓冲区分配失败：%s", error);
    }
    
    return codec_frame;
}

3. 开始编码并写入文件

void audio_encode(AVCodecContext *ctx, AVFrame *frame, AVPacket *packet, FILE *fl) {
    
    
    // 将数据送入编码器
    int codec_result = avcodec_send_frame(ctx, frame);
    while (codec_result >= 0) {
        // 从packet中循环读取编码好的数据
        codec_result = avcodec_receive_packet(ctx, packet);
        if (codec_result == AVERROR(EAGAIN) || codec_result == AVERROR_EOF) {
        
            break;
        } else if (codec_result < 0) {
            char error[1024];
            av_make_error_string(error, 1024, codec_result);
            printf("编码器出错：%s     停止编码", error);
        } else {
            fwrite(packet->data, 1,packet->size, fl);
        }
    }
    if (codec_result < 0) {
        char error[1024];
        av_make_error_string(error, 1024, codec_result);
        printf("将数据送入编码器错误： %s\n",error);
    }
}

4. 调用

  • 先将重采样的数据放入avframe的缓冲区中
memcpy(codec_frame->data[0], out_buffer[0], linesize_out);
  • 再开始编码
audio_encode(codec_context, codec_frame, codec_packet, f);
  • 总览
void get_audio_packet(AVFormatContext *context, void (*packet_callback)(AVPacket)) {
    
    // w == 写  b == 二进制  + == 没有就创建文件
    FILE *f = fopen("/Users/cunw/Desktop/learning/音视频学习/音视频文件/encoder.aac", "wb+");
    
    // 创建编码器上下文
    AVCodecContext *codec_context = init_codec_context();
    // 初始化输入缓冲区  AVframe
    AVFrame *codec_frame = create_audio_input_frame();
    // 初始化编码输出缓冲区
    AVPacket *codec_packet = av_packet_alloc();
    
    // 初始化重采样上下文
    SwrContext *swr_context = init_swr_context();
    // 初始化重采样的缓冲区
    uint8_t **out_buffer = NULL;
    int linesize_out = 0;
    uint8_t **in_buffer = NULL;
    int linesize_in = 0;
    init_resammple_buffer(&in_buffer, &linesize_in, &out_buffer, &linesize_out);
    

    AVPacket *packet = av_packet_alloc();
    int result = -1;
    // 循环读取设备信息
    
    while (isRecording == 1) {
        
        result = av_read_frame(context, packet);
        if (packet->size > 0 && result == 0) {

            packet_callback(*packet);
            // 开始转换数据
            // 先将音频数据拷贝到输入缓冲区  只是重采样音频的话  只需要处理数组的第一个
            memcpy(in_buffer[0], packet->data, packet->size);
            // 再进行转换
            swr_convert(swr_context, out_buffer, 512, (const uint8_t **)in_buffer, 512);
            // 将重采样好的数据按字节拷贝到frame缓冲区
            memcpy(codec_frame->data[0], out_buffer[0], linesize_out);
            audio_encode(codec_context, codec_frame, codec_packet, f);
            // 每读取一次 就清空数据包 不然数据包会一直增大
            av_packet_unref(packet);
        } else if (result == -EAGAIN) {
            // result == -35 是Resource temporarily unavailable 因为设备未准备好，还正在处理数据
            av_usleep(1);
        }
    }
    // 把缓冲区剩余的数据拿出来编码
    audio_encode(codec_context, NULL, codec_packet, f);

    if (result != 0) {
        char errors[1024];
        av_make_error_string(errors, 1024, result);
        printf("get packet occured error is \"%s\" \n", errors);
    }

    // 释放重采样资源
    if (in_buffer) {
        av_freep(&in_buffer[0]);
    }
    if (out_buffer) {
        av_freep(&out_buffer[0]);
    }
    av_freep(&in_buffer);
    av_freep(&out_buffer);
    swr_free(&swr_context);
    
    av_frame_free(&codec_frame);
    av_packet_free(&codec_packet);

    // 将缓冲区剩余的数据 强制写入文件
    fflush(f);
    fclose(f);

    // 释放packet空间
    av_packet_free(&packet);
    
    
}

十年编程老舅
关注
专栏目录
FFMPEG音频开发: Linux下采集摄像头(使用V4L2框架)数据录制成MP4视频保存到本地
走向CTO的路上...
05-06 529
通过V4L2提供的API,我们可以从摄像头获取视频数据流。我们可以使用FFMPEG的API打开一个输出文件,配置编码器和多路复用器,然后将从V4L2获取的视频数据输入到FFMPEG的编码管道中,就可以生成所需的视频文件。1. **促进了视频应用的发展:** 视频录制是诸多视频应用(如安防监控、视频会议等)的基础,本文提供了一种简单高效的实现方式,推动了这些应用的发展。总的来说,随着视频技术在各个领域的不断渗透,对高效、灵活的视频采集和编码方案将有持续的需求,本文介绍的方案在未来仍有广阔的改进和扩展空间。
音频编码 -（1）音频编码基本原理简介
mandagod的博客
02-12 8825
（1）  音频信号的冗余信息 数字音频信号如果不加压缩地直接进行传送，将会占用极大的带宽。例如，一套双声道数字音频若取样频率为44.1KHz，每样值按16bit量化，则其码率为： 2*44.1kHz*16bit=1.411Mbit/s 如此大的带宽将给信号的传输和处理都带来许多困难，因此必须采取音频压缩技术对音频数据进行处理，才能有效地传输音频数据。 数字音频压
音频基础知识及编码原理
热门推荐
水龙吟的备忘录
07-08 1万+
一、基本概念 1 比特率：表示经过编码（压缩）后的音频数据每秒钟需要用多少个比特来表示，单位常为kbps。 2 响度和强度：声音的主观属性响度表示的是一个声音听来有多响的程度。响度主要随声音的强度而变化，但也受频率的影响。总的说，中频纯音听来比低频和高频纯音响一些。 3 采样和采样率：采样是把连续的时间信号，变成离散的数字信号。采样率是指每秒钟采集多少个样本。 Nyquist采样定律：采样率大于或等于连续信号最高频率分量的2倍时，采样信号可以用来完美重构原始连续信号。 二、常见音频格式 1
音频编码格式
最新发布
扬帆起航
08-19 2744
音频编码格式
音频编码原理
weixin_43313383的博客
02-08 2682
音频编码原理介绍
音视频同步原理解析；音频编码和解码原理
yuyin86的专栏
01-22 6222
视频流中的DTS／PTS到底是什么? DTS（解码时间戳）和PTS（显示时间戳）分别是解码器进行解码和显示帧时相对于SCR（系统参考）的时间戳。SCR可以理解为解码器应该开始从磁盘读取数据时的时间。 mpeg文件中的每一个包都有一个SCR时间戳并且这个时间戳就是读取这个数据包时的系统时间。通常情况下，解码器会在它开始读取mpeg流时启动系统时钟（系统时钟的初始值是第一个数据包的SCR值，通常为
音视频基础+ffmpeg原理+项目实战一课完成音视频技术开发入门视频课程
09-05
通过这套《音视频基础+ffmpeg原理+项目实战一课完成音视频技术开发入门》课程，学习者不仅可以掌握音视频的基本概念和技术原理，还能通过实战项目加深理解并提升实践能力。无论是对于初学者还是有一定经验的开发者来...
音视频基础+ffmpeg原理+项目实战一课完成音视频技术开发入门（MKW实战）
2401_84337888的博客
04-24 494
音视频处理是一个复杂而有趣的领域，FFmpeg作为这个领域的佼佼者，为我们提供了强大的工具和功能。通过掌握音视频基础知识和FFmpeg的原理，我们可以轻松地进行音视频处理项目的开发和实践。音视频处理是数字媒体领域的重要分支，涉及音频和视频信号的采集、编码、传输、解码和播放等多个环节。FFmpeg是一个开源的、跨平台的音视频处理库，它提供了丰富的音视频编解码、格式转换、流媒体处理等功能。常见的视频编码格式有H.264、H.265等，它们能够在保证一定视频质量的前提下，大幅度减少视频数据的体积。
Python可以这样学（第12季：音频处理与视频处理实战）
06-19
4. 音频转换：使用ffmpeg工具或其Python接口pyffmpeg，可以实现音频格式的转换，如MP3转WAV，或者调整音频编码参数。 其次，视频处理方面会包含以下关键概念： 1. 视频库介绍：OpenCV是处理视频最常用的Python库，...
Android音频开发实战：AudioRecord音频采集
MediaRecorder则是一个更加用户友好的上层API，它不仅采集音频，还能处理编码、压缩，最后将音频保存到文件，适用于录制视频或音频文件。 AudioRecord的使用通常始于获取最小的缓冲区大小，这是通过调用`...
MP3 音频编码原理详解
10-07
介绍了MP3压缩算法的实现原理 。pdf格式的。
音频编码（高泽华）
12-14
音频编码的基本原理，主流标准和技术分析。
音频编码基础详解
weixin_52734695的博客
07-28 505
音频编码是将音频信号转换成数字数据的过程，有多种方法和格式可以选择。音频编码是将音频信号转换成数字数据的过程，使其能够在计算机系统中存储、处理和传输。音频编码的目的是在保持音质的同时，尽可能地减少数据量。这种方法基于人类听觉的特点，丢弃人耳不易察觉的信息，从而在大幅度压缩文件的同时，保持可接受的音质。无损编码能够完全重建原始音频数据，适用于高质量音频存储和专业音频处理。音质要求：无损编码适用于高音质需求的场合，有损编码适用于文件大小和传输速率有限的场合。用于Opus格式的编码，适用于实时通信和高质量音频。
[音视频基础知识]音频编码原理
zhuchengcheng1992的博客
08-28 525
音频压缩：１．有损压缩，　２无损压缩 有损压缩：（去除人耳听觉范围以外及被遮蔽的声音数据）频域遮蔽： 频率相近，声音强度大的遮蔽声音强度小的，如两个女生吵架．频率不接近，声音强度不同，在可听范围内，不会遮蔽，如男人跟女人吵架． 时域遮蔽： 声音强度大的，前50ms，后200ms，都能遮蔽掉声音强度小的 无损压缩： 熵编码，包括哈夫曼编码，算术编码，香农编码等，压缩后的数据能够恢复到原来的数据，没有任何数据丢失． 几种常见编码器： speex：具有回音消除特性． opus．优
音视频开发之音频编码原理
小马哥博客
02-02 1324
音频编码原理 本篇博客为面向大众的科普性文章。涉及声音原理、音频文件属性、音频格式等方面。预计阅读时间为10分钟。 1.何为声音 中学物理中我们知道，声音是物体振动产生的声波。声音通过介质（空气、固体、液体）传入到人耳中，带动听小骨振动，经过一系列的神经信号传递后，被人所感知。 声音是一种波。物体振动时会使介质（如空气）产生疏密变化，从而形成疏密相见的纵波。 既然声音是波，那么我们就可以用图的形式来表示它。 给定空间中某一点，该点的空气疏密随时间的变化如下： 波形图 下图是一个正弦波，其周期为0.002s，
音频编码
Blueware多媒体之窗
01-28 1857
音频编码音频编码基本原理[^1]音频信号的冗余信息静音阈值曲线频谱掩蔽效应时域掩蔽效应压缩编码方法音频采样音频量化语音 / 音频编码算法常见音频压缩格式对比 音频编码基本原理1 音频信号的冗余信息 数字音频信号如果不加压缩地直接进行传送，将会占用极大的带宽。例如，一套双声道数字音频若取样频率为 44.1KHz，每样值按 16bit 量化，则其码率为： 2 x 44.1 kHz x 16 bi...
音频编码基础知识
VectorAL的博客
09-17 1086
音频编码基础 1.音频压缩技术 音频有损压缩：在保证音频不失真的前提下，对音频数据进行尽可能大的压缩。 压缩的主要方法是消除音频中的冗余信息，包括人耳听觉范围外的音频以及被遮蔽掉的音频信号，分为频域遮蔽和时域遮蔽。 音频无损压缩： 无损压缩编码方式：熵编码，包括哈夫曼编码，算术编码，香农编码 使用音频压缩技术的原因： 一个PCM音频流的码率=采样率值×采样大小值×声道数。假设一个采样率为44.1KHz，采样大小为16bit，双声道的PCM编码的音频文件，它的码率则为 44.1K×16×2 =1411.2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值