FFMPEG+SDL2播放音频-1（音频知识和代码）

已于 2024-03-13 22:00:57 修改
阅读量930 收藏 21
点赞数 20
文章标签： c++ c语言 音视频
于 2024-03-11 22:53:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37898310/article/details/136596115
版权

       为了快速掌握音频开发知识，秉承实用主义，我计划以下面思维导图方式介绍音频开发知识，以求最快速让开发者听到文件的声音。

f428ae8fdf764e9db93ddca9fafc06ec.png

概述

开发者基础

在计算机平台下，二进制数据可用十六进制显示，文件数据可视化工具软件为为UltraEdit。

开发者收获

1 Qt播放音频文件Demo。

2 基于C、C++语言

   使用ffmpeg 解码压缩音频数据；

   使用SDL      播放原始音频数据；

   使用winmm 播放原始音频数据；

   音频播放控制，响度增大和音调不改变实现倍速播放。

知识目录

1 声音是什么？

        声音（sound)是由物体振动产生的声波。是通过介质（空气或固体、液体）传播并能被人或动物听觉器官所感知的波动现象。最初发出振动（震动）的物体叫声源。声音以波的形式振动（震动）传播。声音是声波通过任何介质传播形成的运动。声音是一种波。可以被人耳识别的声（频率在20 Hz~20000 Hz之间），我们称之为声音。

2 声音和音频有什么关系？

        音频是个专业术语，音频一词已用作一般性描述音频范围内和声音有关的设备及其作用。

        1.Audio，指人耳可以听到声音的声波，称为音频。

        2.指存储声音内容的文件。

        3.在某些方面能指作为滤波的振动。 

3 声音怎么被我们听到？

        声音是一种压力波：当演奏乐器、拍打一扇门或者敲击桌面时，他们的振动会引起介质——空气分子有节奏的振动，使周围的空气产生疏密变化，形成疏密相间的纵波，这就产生了声波，这种现象会一直延续到振动消失为止。

        声音作为波的一种，频率和振幅就成了描述波的重要属性，频率的大小与我们通常所说的音高对应，而振幅影响声音的大小。声音可以被分解为不同频率不同强度正弦波的叠加。这种变换（或分解）的过程，称为傅里叶变换(Fourier Transform)。

        因此，一般的声音总是包含一定的频率范围。人耳可以听到的声音的频率范围在20到2万赫兹之间。高于这个范围的波动称为超声波，而低于这一范围的称为次声波。狗和蝙蝠等动物可以听得到高达16万赫兹的声音。鲸和大象则可以产生频率在15到35赫兹范围内的声音。

4 不同的声音有什么区别？

  1. 响度（loudness）：人主观上感觉声音的大小（俗称音量），由“振幅”（amplitude）和人离声源的距离决定，振幅越大响度越大，人和声源的距离越小，响度越大。（单位：分贝dB）

  2. 音调（pitch）：声音的高低（高音、低音），由“频率”（frequency）决定，频率越高音调越高（频率单位Hz（hertz），赫兹，人耳听觉范围20～20000Hz。20Hz以下称为次声波，20000Hz以上称为超声波）例如，低音端的声音或更高的声音，如细弦声。

  3. 音色（Timbre）：又称音品，波形决定了声音的音色。声音因物体材料的特性而不同，音色本身是一种抽象的东西，但波形是把这个抽象直观的表现。波形不同，音色则不同。不同的音色，通过波形，完全可以分辨的。

  4. 音调，响度，音色是乐音的三个主要特征，人们就是根据他们来区分声音.

  5. 当两个物体碰撞后振动产生声音时，若两者振动频率比为不可化简的复杂比，如：201：388，那么我们分辨出来会觉得这个声音刺耳；相反，若两者振动频率比为可化简的简单比，如：3：7，那么我们分辨出来会觉得很动听。（毕达哥拉斯发现）

5 声音怎么被存储下来？

        要在计算机内播放或是处理音频文件，也就是要对声音文件进行数、模转换，这个过程同样由采样和量化构成，人耳所能听到的声音，最低的频率是从20Hz起一直到最高频率20KHZ，20KHz以上人耳是听不到的，因此音频的最大带宽是20KHZ，故而采样速率需要介于40~50KHZ之间，而且对每个样本需要更多的量化比特数。音频数字化的标准是每个样本16位(16bit，即96dB)的信噪比，采用线性脉冲编码调制PCM，每一量化步长都具有相等的长度。在音频文件的制作中，正是采用这一标准。

c8bc7865bd9b42958ca2ff6b0dea5002.png

6 Winmm 是什么？

        DLL 文件是winmm 或者 winmm.dll，DLL 名称为Windows Multimedia, API描述是winmm.dll是Windows多媒体相关应用程序接口，用于低档的音频和游戏手柄。 系统文件winmm.dll是存放在Windows系统文件夹中的重要文件，通常情况下是在安装操作系统过程中自动创建的，对于系统正常运行来说至关重要。下为微软官方解释：

网站: User-Mode WDM Audio Components - Windows drivers | Microsoft Learn

81280a30285d4183a7839b8a0f2c83ba.png

7 SDL是什么？

        SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。现SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。

 网站: Simple DirectMedia Layer - Homepage (libsdl.org)

8ed493e5527a4d9ba017c9e26e81a8b7.png​

8 ffmpeg 是什么？

        FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。

FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。这个项目最早由Fabrice Bellard发起，2004年至2015年间由Michael Niedermayer主要负责维护。许多FFmpeg的开发人员都来自MPlayer项目，而且当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。 [1]FFmpeg编码库可以使用GPU加速。

官网:FFmpeg

b785c1b548db461d889b80cec6cbf415.png​

================================开始编程啦=================================

9 声音怎么被计算机播放出来？

        思路:获得一份音频文件时，通过windows  I/O 函数，将音频文件读取到系统内存，如果是非压缩文件或者RAW文件，可以将内存数据传入至配置好的SDL 播放器中，直接播放；如果是压缩文件，需要将内存数据传入至配置好的FFMPEG音频解码器中，随后送入配置好的SDL 播放器中播放。SDL 播放器亦可换成WINMM。

1. 在上述官网分别下载FFMPEG/SDL库，WINMM 为系统内置，无需下载。

2.将头文件和LIB库分别加入到工程中。

SDL 播放PCM 代码部分

// audio_play.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <iostream>
#include <algorithm>
#include "SDL.h"

#pragma comment(lib , "SDL2.lib")



unsigned char* audio_chunk;
unsigned int   audio_len;
unsigned char* audio_pos;

const static uint32_t PCM_BUFFER_SIZE = 4096;

//数据到来的回调函数
void read_audio_data_cb(void* udata, Uint8* stream, int len)
{
	SDL_memset(stream, 0, len);
	if (audio_len == 0)
		return;
	len = std::min(len, static_cast<int>(audio_len));

	SDL_MixAudio(stream, audio_pos, len, SDL_MIX_MAXVOLUME);
	audio_pos += len;
	audio_len -= len;
}
#undef main
int main(int argc , char *argv[])
{
	SDL_Init(SDL_INIT_AUDIO);   //init

	SDL_AudioSpec spec;
	spec.freq = 44100;
	spec.format = AUDIO_S16SYS;
	spec.channels = 2;
	spec.samples = 1024;
	spec.callback = read_audio_data_cb;
	spec.userdata = NULL;
	//根据参数，打开音频设备
	if (SDL_OpenAudio(&spec, NULL) < 0)
		return -1;

	//打开文件
	FILE *f = fopen("yinpin.pcm", "rb+");
	if (f == nullptr) return -1;
	char* pcm_buffer = (char*)malloc(PCM_BUFFER_SIZE);
	//开始播放
	SDL_PauseAudio(0);
	int ret = 0;
	while (true)
	{
		ret = fread(pcm_buffer, 1, PCM_BUFFER_SIZE, f);
		if (ret == 0) break;

		audio_chunk = reinterpret_cast<Uint8*>(pcm_buffer);
		audio_len = ret;                           //读取到的字节数
		audio_pos = audio_chunk;
		std::cout << "play " << audio_len << " data" << std::endl;
		while (audio_len > 0)       //等待audio_len长度的数据播放完成  
			SDL_Delay(1);
	}

	free(pcm_buffer);
	SDL_Quit();
	return 0;
}

==============歇了，有时间继续=============================================

未完成： ffmpeg 解码  winmm 播放

sinat_37898310
关注
  • 20
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
音频PCM知识整理
pds574834424的专栏
10-08 2万+
简介 PCM(Pulse Code Modulation)，脉冲编码调制。人耳听到的是模拟信号，PCM是把声音从模拟信号转化为数字信号的技术。原理是用一个固定的频率对模拟信号进行采样，采样后的信号在波形上看就像一串连续的幅值不一的脉冲(脉搏似的短暂起伏的电冲击)，把这些脉冲的幅值按一定精度进行量化，这些量化后的数值被连续的输出、传输、处理或记录到存储介质中，所有这些组成了数字音频的产生过程(抽样
音频基础知识详解
houxiaoni01的博客
10-20 1万+
音频基础知识详解
关于采样率&位深&码率&无损的一些心得
热门推荐
Marenow的博客
12-25 2万+
记笔记，记下来自己的一些关于音频基础知识的总结。 采样率 外界的声音都是模拟信号，在数字设备中A/D转化成为了由0、1表示的数字信号后被储存下来。数字信号都是离散的，所以采样率是指一秒钟采样的次数，采样率越高，还原的声音也就越真实。由于人耳听觉范围是20Hz~20kHz，根据香农采样定理(也叫奈奎斯特采样定理)，理论上来说采样率大于40kHz的音频格式都可以称之为无损格式。但在40kHz采样率下得...
高通平台音频audio基本知识概述
zhiru20的博客
08-25 1万+
音频PCM介绍
m0_49328056的博客
03-14 1万+
一、音频基础知识 1）pcm文件：对声音进行采样、量化过程被称为脉冲编码调制（Pulse Code Modulation)，简称PCM。PCM数据时最原始的音频数据，完全无损，所以PCM数据虽然音质优秀但体积庞大，为了解决这个问题先后诞生了一系列的音频格式，这些音频格式运用不同的方法对音频数据进行压缩，其中有无损压缩（ALAC、APE、FLAC）和有损压缩（MP3、AAC、OGG、WMA）两种。 2）声道数：即声音的通道数目，很好理解，有单声道和立体声之分，单声道的声音只能使用一个喇叭发声（有的也处理成
SDL2 播放音频数据(PCM)
希望能帮助大家，希望大家多多支持，你们的支持是我前进的动力。
11-15 1804
这里以常用的视频原始数据PCM数据为例，展示音频的播放。初始化音频子系统：SDL_Init()。设置音频参数：SDL_AudioSpec。设置回调函数：SDL_AudioCallback。打开音频设备：SDL_OpenAudio()。打开pcm文件，读取数据。开始播放：SDL_PauseAudio()。int freq;// 音频采样率// 音频数据格式// 声道数: 1 单声道, 2 立体声// 设置静音的值，因为声音采样是有符号的，所以0当然就是这个值。
SDL2 播放音频(MP4)
最新发布
希望能帮助大家，希望大家多多支持，你们的支持是我前进的动力。
11-15 694
这里引入FFmpeg库，获取音频流数据，然后通过FFmpeg将视频流解码成pcm原始数据，再将pcm数据送入到SDL库中实现音频播放。
使用FFMPEG和SDL2实现音视频同步的简易视频播放器
yunxiaobaobei的博客
05-12 1536
这里我简单做了一个视频播放器，并简单做了音视频同步。1.如果当前视频帧与音频帧的播放时间差值小于或等于视频帧持续时间，则表示音视频同步，正常延时。2.如果视频帧比音频帧快，且大于视频帧一帧的时长，延时2倍的正常延时。3.如果视频帧比音频帧慢，且大于视频帧一帧的时长，则立即播放下一帧。4.创建解复用线程，音频解码播放线程，视频解码播放线程。6.根据音频帧和视频帧的差值计算延时。2.将取到的数据送至视频解码器中。5.计算视频帧的pts和持续时间。3.循环从解码器中取解码音频帧。3.循环从解码器中取解码视频帧。
FFmpeg+SDL2实现简易音视频同步播放器
irainsa的博客
11-03 737
SDL2文章列表经过前面一系列的SDL2学习，终于到最后实现一个完整的简易播放器了。
ffmpeg 使用SDL2播放音频、视频 (2) 音频播放
热爱生活，忠于自己
04-18 1517
学习ffmepg解码后的音视频通常只能保存为文件，或者进行再次编码保存或发送出去。为了在使用中直观中看到解码的结果，有必要使用SDL2进行展示。FFMPEG提供的工具ffplay可以播放解码后的音视频，实现使用了SDL库。 SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成，目前大版本已经到SDL2。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）
ffmpeg+SDL2实现的音频播放器V2.0（无杂音）
10-05
ffmpeg+SDL2实现的音频播放器 博客：http://blog.csdn.net/i_scream_/article/details/52736200 中的代码。
基于FFMPEG+SDL2播放音频
08-22
基于FFMPEG+SDL2写的播放mp3文件程序，采用链表队列的方式来传递数据，详细解释见博文《基于FFMPEG+SDL2播放音频》，链接：https://blog.csdn.net/u011003120/article/details/81950045
最简单的基于FFMPEG+SDL的音频播放器 2 （修正）
09-02
该播放器虽然简单，但是几乎包含了使用FFMPEG播放一个音频所有必备的API，并且使用SDL播放解码出来的音频。 该版本使用SDL2.0替代了原先的SDL1.2 相比旧版本的改动： *重建了工程，删掉了不必要的代码，把代码修改...
ffmpeg+sdl2视音频播放器
04-18
ffmpeg+sdl2播放器解码视音频,使用ffmpeg-2.5.2+SDL2-2.0.3,如有bug或建议,欢迎交流 内含5个工程 1.保存为bmp图片 2.解码视频 3.解码视音频 4.分离代码,加入线程(伪同步) 5.视音频同步,快进快退功能,播放/暂停...
ffmpeg+sdl视音频播放器
04-18
ffmpeg+sdl播放器解码视音频,使用ffmpeg-2.5.2+SDL-1.2.15,参考ffmpeg官方例子,欢迎交流 内含10个工程 1.保存为bmp图片 2.解码视频 3.解码视频, 音频 4.分离代码,加入线程(伪同步) 5.视频同步到音频 6.音频同步到...
使用SDL2来播放音频
tong5956的专栏
10-08 1323
Opening the audio device： SDL_AudioSpec wanted; extern void fill_audio(void *udata, Uint8 *stream, int len); /* Set the audio format */ wanted.freq = 22050; wanted.format = AUDI...
SDL2播放pcm音频
师范大学生的博客
05-21 672
作为播放器，只会播放视频还是不行的，因此需要研究一下SDL如何播放音频。 SDL播放音频的过程相对于播放视频更为简单，主要流程如下： 初始化工作： 1.初始化SDL 2.根据设定参数打开音频设备 循环播放： 1.播放音频数据 2.延时等待播放完成 #include <stdio.h> #include <tchar.h> #include <iostream> extern "C" { #include "SDL.h" }; using namespac
基于FFmpeg的视频播放器之九：使用SDL2播放音频
草上爬的博客
05-02 4497
一.pcm文件准备 找一个mp3文件，然后用FFmpeg命令将它转换成pcm文件，这里使用NorwayForest-500.mp3（挪威的森林-伍佰）。 首先要使用ffmpeg查看mp3文件的一些信息，比如采样率、声道数等。 ffmpeg -i NorwayForest-500.mp3 从上图所示的信息，可以看到mp3文件采样率是44100Hz，双声道，在转换成pcm文件时要用到上面的信息。 ffmpeg -i NorwayForest-500.mp3 -acodec pcm_s16le -f
ffmpeg+sdl 实现音频播放
09-08
要使用FFmpeg和SDL实现音频播放，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了FFmpeg和SDL库。 2. 创建一个C/C++源文件，并包含必要的头文件： ```c #include <stdio.h> #include <SDL2/SDL.h> #include <libavformat/avformat.h> #include <libavutil/opt.h> #include <libswresample/swresample.h> ``` 3. 初始化FFmpeg和SDL库： ```c av_register_all(); avformat_network_init(); SDL_Init(SDL_INIT_AUDIO); ``` 4. 打开音频文件并解码音频流： ```c AVFormatContext *formatCtx = NULL; if (avformat_open_input(&formatCtx, "audio.mp3", NULL, NULL) != 0) { // 处理打开文件失败的情况 return -1; } if (avformat_find_stream_info(formatCtx, NULL) < 0) { // 处理获取流信息失败的情况 return -1; } int audioStreamIndex = -1; for (int i = 0; i < formatCtx->nb_streams; i++) { if (formatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) { audioStreamIndex = i; break; } } if (audioStreamIndex == -1) { // 处理没有找到音频流的情况 return -1; } AVCodecParameters *codecPar = formatCtx->streams[audioStreamIndex]->codecpar; AVCodec *codec = avcodec_find_decoder(codecPar->codec_id); if (codec == NULL) { // 处理找不到解码器的情况 return -1; } AVCodecContext *codecCtx = avcodec_alloc_context3(codec); if (avcodec_parameters_to_context(codecCtx, codecPar) < 0) { // 处理解码器参数设置失败的情况 return -1; } if (avcodec_open2(codecCtx, codec, NULL) < 0) { // 处理打开解码器失败的情况 return -1; } ``` 5. 配置SDL音频参数： ```c SDL_AudioSpec wantedSpec, obtainedSpec; wantedSpec.freq = codecCtx->sample_rate; wantedSpec.format = AUDIO_S16SYS; wantedSpec.channels = codecCtx->channels; wantedSpec.silence = 0; wantedSpec.samples = 1024;wantedSpec.callback = audio_callback; wantedSpec.userdata = codecCtx; SDL_OpenAudio(&wantedSpec, &obtainedSpec); SDL_PauseAudio(0); ``` 6. 实现SDL音频回调函数： ```c void audio_callback(void *userdata, Uint8 *stream, int len) { AVCodecContext *codecCtx = (AVCodecContext *)userdata; AVPacket packet; static uint8_t audio_buffer[(192000 * 3) / 2]; static unsigned int audio_buffer_size = 0; static unsigned int audio_buffer_index = 0; while (len > 0) { if (audio_buffer_index >= audio_buffer_size) { int ret = av_read_frame(formatCtx, &packet); if (ret < 0) { // 处理读取音频帧失败的情况 break; } if (packet.stream_index == audioStreamIndex) { ret = avcodec_send_packet(codecCtx, &packet); if (ret < 0) { // 处理发送音频帧给解码器失败的情况 break; } ret = avcodec_receive_frame(codecCtx, &frame); if (ret < 0) { // 处理接收解码后的音频帧失败的情况 break; } int data_size = av_samples_get_buffer_size(NULL, codecCtx->channels, frame->nb_samples, codecCtx->sample_fmt, 1); memcpy(audio_buffer, frame->data[0], data_size); audio_buffer_size = data_size; audio_buffer_index = 0; } av_packet_unref(&packet); } int remaining = audio_buffer_size - audio_buffer_index; int to_copy = len > remaining ? remaining : len; memcpy(stream, audio_buffer + audio_buffer_index, to_copy); len -= to_copy; stream += to_copy; audio_buffer_index += to_copy; } } ``` 7. 清理资源并关闭SDL和FFmpeg库： ```c SDL_CloseAudio(); SDL_Quit(); avformat_close_input(&formatCtx); avcodec_free_context(&codecCtx); return 0; ``` 以上是一个简单的示例，演示了如何使用FFmpeg和SDL实现音频播放。您可以根据自己的需求进行调整和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sinat_37898310

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值