首先需要了解一些基本知识。
一、数字音频基础知识
- Fourier级数:
任何周期的波形可以分解成多个正弦波,这些正弦波的频率都是整数倍。级数中其他正线波的频率是基础频率的整数倍。基础频率称为一级谐波。
- PCM:
pulse code modulation,脉冲编码调制,即对波形按照固定周期频率采样。为了保证采样后数据质量,采样频率必须是样本声音最高频率的两倍,这就是Nyquist频率。
样本大小:采样后用于存储振幅级的位数,实际就是脉冲编码的阶梯数,位数越大表明精度越高,这一点学过数字逻辑电路的应该清楚。
- 声音强度:
波形振幅的平方。两个声音强度上的差常以分贝(db)为单位来度量,
- 计算公式如下:
20*log(A1/A2)分贝。A1,A2为两个声音的振幅。如果采样大小为8位,则采样的动态范围为20*log(256)分贝=48db。如果样本大小为16位,则采样动态范围为20*log(65536)大约是96分贝,接近了人听觉极限和痛苦极限,是再线音乐的理想范围。windows同时支持8位和16位的采样大小。
二、相关API函数,结构,消息
对于录音设备来说,windows 提供了一组wave***的函数,比较重要的有以下几个:
- 打开录音设备函数
MMRESULT waveInOpen( LPHWAVEIN phwi, //输入设备句柄 UINT uDeviceID, //输入设备ID LPWAVEFORMATEX pwfx, //录音格式指针 DWORD dwCallback, //处理MM_WIM_***消息的回调函数或窗口句柄,线程ID DWORD dwCallbackInstance, DWORD fdwOpen //处理消息方式的符号位 );
- 为录音设备准备缓存函数
MMRESULT waveInPrepareHeader( HWAVEIN hwi, LPWAVEHDR pwh, UINT bwh );
- 给输入设备增加一个缓存
MMRESULT waveInAddBuffer( HWAVEIN hwi, LPWAVEHDR pwh, UINT cbwh );
- 开始录音
MMRESULT waveInStart( HWAVEIN hwi );
- 清除缓存
MMRESULT waveInUnprepareHeader( HWAVEIN hwi,LPWAVEHDR pwh, UINT cbwh);
- 停止录音
MMRESULT waveInReset( HWAVEIN hwi );
- 关闭录音设备
MMRESULT waveInClose( HWAVEIN hwi );
- Wave_audio数据格式
typedef struct { WORD wFormatTag; //数据格式,一般为WAVE_FORMAT_PCM即脉冲编码 WORD nChannels; //声道 DWORD nSamplesPerSec; //采样频率 DWORD nAvgBytesPerSec; //每秒数据量 WORD nBlockAlign; WORD wBitsPerSample;//样本大小 WORD cbSize; } WAVEFORMATEX;
- waveform-audio 缓存格式
typedef struct { LPSTR lpData; //内存指针 DWORD dwBufferLength;//长度 DWORD dwBytesRecorded; //已录音的字节长度 DWORD dwUser; DWORD dwFlags; DWORD dwLoops; //循环次数 struct wavehdr_tag * lpNext; DWORD reserved; } WAVEHDR;
- 相关消息
MM_WIM_OPEN:打开设备时消息,在此期间我们可以进行一些初始化工作 MM_WIM_DATA:当缓存已满或者停止录音时的消息,处理这个消息可以对缓存进行重新分配,实现不限长度录音 MM_WIM_CLOSE:关闭录音设备时的消息。
相对于录音来说,回放就简单的多了,用到的函数主要有以下几个:
- 打开回放设备
MMRESULT waveOutOpen( LPHWAVEOUT phwo, UINT uDeviceID, LPWAVEFORMATEX pwfx, DWORD dwCallback, DWORD dwCallbackInstance, DWORD fdwOpen );
- 为回放设备准备内存块
MMRESULT waveOutPrepareHeader( HWAVEOUT hwo, LPWAVEHDR pwh, UINT cbwh );
- 写数据(放音)
MMRESULT waveOutWrite( HWAVEOUT hwo, LPWAVEHDR pwh, UINT cbwh );
相应的也有三个消息,用法跟录音的类似:
一个录音程序的简单流程:
打开录音设备waveInOpen===>准备wave数据头waveInPrepareHeader===> 准备数据块waveInAddBuffer===>开始录音waveInStart===>停止录音(waveInReset) ===> 关闭录音设备(waveInClose)
当开始录音后当buffer已满时,将收到MM_WIM_DATA消息,处理该消息可以保存已录好数据。
回放程序比这个要简单的多:
打开回放设备waveOutOpen===>准备wave数据头waveOutPrepareHeader===>写wave数据waveOutWrite===> 停止放音(waveOutRest) ===>关闭回放设备(waveOutClose)
如何处理MM消息:
MSDN告诉我们主要有 CALLBACK_FUNCTION、CALL_BACKTHREAD、CALLBACK_WINDOW 三种方式,常用的是 Thread,window方式。
线程模式
waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,m_ThreadID,NULL,CALLBACK_THREAD),我们可以继承MFC的CwinThread类,只要相应的处理线程消息即可。
MFC线程消息的宏为:
ON_THREAD_MESSAGE,
可以这样添加消息映射:
ON_THREAD_MESSAGE(MM_WIM_CLOSE, OnMM_WIM_CLOSE)
窗口模式
类似于线程模式,参见源程序即可。
先了解下wave 真个音频文件的Format如下所示
wav文件格式分析详解
程序如上一篇博文
一、综述
WAVE文件作为多媒体中使用的声波文件格式之一,它是以RIFF格式为标准的。
RIFF是英文Resource Interchange File Format的缩写,每个WAVE文件的头四个
字节便是“RIFF”。
WAVE文件是由若干个Chunk组成的。按照在文件中的出现位置包括:RIFF WAVE
Chunk, Format Chunk, Fact Chunk(可选), Data Chunk。具体见下图:
------------------------------------------------
| RIFF WAVE Chunk |
| ID = 'RIFF' |
| RiffType = 'WAVE' |
------------------------------------------------
| Format Chunk |
| ID = 'fmt ' |
------------------------------------------------
| Fact Chunk(optional) |
| ID = 'fact' |
------------------------------------------------
| Data Chunk |
| ID = 'data' |
------------------------------------------------
图1 Wav格式包含Chunk示例
其中除了Fact Chunk外,其他三个Chunk是必须的。每个Chunk有各自的ID,位
于Chunk最开始位置,作为标示,而且均为4个字节。并且紧跟在ID后面的是Chunk大
小(去除ID和Size所占的字节数后剩下的其他字节数目),4个字节表示,低字节
表示数值低位,高字节表示数值高位。下面具体介绍各个Chunk内容。
PS:
所有数值表示均为低字节表示低位,高字节表示高位。
二、具体介绍
RIFF WAVE Chunk
==================================
| |所占字节数| 具体内容 |
==================================
| ID | 4 Bytes | 'RIFF' |
----------------------------------
| Size | 4 Bytes | |
----------------------------------
| Type | 4 Bytes | 'WAVE' |
----------------------------------
图2 RIFF WAVE Chunk
以'FIFF'作为标示,然后紧跟着为size字段,该size是整个wav文件大小减去ID
和Size所占用的字节数,即FileLen - 8 = Size。然后是Type字段,为'WAVE',表
示是wav文件。
结构定义如下:
struct RIFF_HEADER
{
char szRiffID[4]; // 'R','I','F','F'
DWORD dwRiffSize;
char szRiffFormat[4]; // 'W','A','V','E'
};
Format Chunk
====================================================================
| | 字节数 | 具体内容 |
====================================================================
| ID | 4 Bytes | 'fmt ' |
--------------------------------------------------------------------
| Size | 4 Bytes | 数值为16或18,18则最后又附加信息 |
-------------------------------------------------------------------- ----
| FormatTag | 2 Bytes | 编码方式,一般为0x0001 | |
-------------------------------------------------------------------- |
| Channels | 2 Bytes | 声道数目,1--单声道;2--双声道 | |
-------------------------------------------------------------------- |
| SamplesPerSec | 4 Bytes | 采样频率 | |
-------------------------------------------------------------------- |
| AvgBytesPerSec| 4 Bytes | 每秒所需字节数 | |===> WAVE_FORMAT
-------------------------------------------------------------------- |
| BlockAlign | 2 Bytes | 数据块对齐单位(每个采样需要的字节数) | |
-------------------------------------------------------------------- |
| BitsPerSample | 2 Bytes | 每个采样需要的bit数 | |
-------------------------------------------------------------------- |
| | 2 Bytes | 附加信息(可选,通过Size来判断有无) | |
-------------------------------------------------------------------- ----
图3 Format Chunk
以'fmt '作为标示。一般情况下Size为16,此时最后附加信息没有;如果为18
则最后多了2个字节的附加信息。主要由一些软件制成的wav格式中含有该2个字节的
附加信息。
结构定义如下:
struct WAVE_FORMAT
{
WORD wFormatTag;
WORD wChannels;
DWORD dwSamplesPerSec;
DWORD dwAvgBytesPerSec;
WORD wBlockAlign;
WORD wBitsPerSample;
};
struct FMT_BLOCK
{
char szFmtID[4]; // 'f','m','t',' '
DWORD dwFmtSize;
WAVE_FORMAT wavFormat;
};
补充头文件样例说明:
首先是一串“52 49 46 46”这个是Ascii字符“RIFF”,这部分是固定格式,表明这是一个WAVE文件头。
然后是“E4 3C 00 00”,这个是我这个WAV文件的数据大小,记住这个大小是包括头文件的一部分的,包括除了前面8个字节的所有字节,也就等于文件总字节数减去8。这是一个DWORD,我这个文件对应是15588。
然后是“57 41 56 45 66 6D 74 20”,也是Ascii字符“WAVEfmt”,这部分是固定格式。
然后是PCMWAVEFORMAT部分,可以对照一下上面的struct定义,首先就是一个WAVEFORMAT的struct。
随后是“10 00 00 00”,这是一个DWORD,对应数字16,这个对应定义中的Sizeof(PCMWAVEFORMAT),后面我们可以看到这个段内容正好是16个字节。
随后的字节是“01 00”,这是一个WORD,对应定义为编码格式“WAVE_FORMAT_PCM”,我们一般用的是这个。
随后的是“01 00”,这是一个WORD,对应数字1,表示声道数为1,这是个单声道Wav。
随后的是“22 56 00 00”,这是一个DWORD,对应数字22050,代表的是采样频率22050。
随后的是“44 AC 00 00”,这是一个DWORD,对应数字44100,代表的是每秒的数据量。
然后是“02 00”,这是一个WORD,对应数字是2,表示块对齐的内容,含义不太清楚。
然后是“10 00”,这是一个WORD,对应WAVE文件的采样大小,数值为16,采样大小为16Bits。
然后是一串“64 61 74 61”,这个是Ascii字符“data”,标示头结束,开始数据区域。
而后是数据区的开头,有一个DWORD,我这里的字符是“C0 3C 00 00”,对应的十进制数为15552,看一下前面正好可以看到,文件大小是15596,其中到“data”标志出现为止的头是40个字节,再减去这个标志的4个字节正好是15552,再往后面就是真正的Wave文件的数据体了,头文件的解析就到这里。
Fact Chunk
==================================
| |所占字节数| 具体内容 |
==================================
| ID | 4 Bytes | 'fact' |
----------------------------------
| Size | 4 Bytes | 数值为4 |
----------------------------------
| data | 4 Bytes | |
----------------------------------
图4 Fact Chunk
Fact Chunk是可选字段,一般当wav文件由某些软件转化而成,则包含该Chunk。
结构定义如下:
struct FACT_BLOCK
{
char szFactID[4]; // 'f','a','c','t'
DWORD dwFactSize;
};
Data Chunk
==================================
| |所占字节数| 具体内容 |
==================================
| ID | 4 Bytes | 'data' |
----------------------------------
| Size | 4 Bytes | |
----------------------------------
| data | | |
----------------------------------
图5 Data Chunk
Data Chunk是真正保存wav数据的地方,以'data'作为该Chunk的标示。然后是
数据的大小。紧接着就是wav数据。根据Format Chunk中的声道数以及采样bit数,
wav数据的bit位置可以分成以下几种形式:
---------------------------------------------------------------------
| 单声道 | 取样1 | 取样2 | 取样3 | 取样4 |
| | --------------------------------------------------------
| 8bit量化 | 声道0 | 声道0 | 声道0 | 声道0 |
---------------------------------------------------------------------
| 双声道 | 取样1 | 取样2 |
| |--------------------------------------------------------
| 8bit量化 | 声道0(左) | 声道1(右) | 声道0(左) | 声道1(右) |
---------------------------------------------------------------------
| | 取样1 | 取样2 |
| 单声道 |--------------------------------------------------------
| 16bit量化 | 声道0 | 声道0 | 声道0 | 声道0 |
| | (低位字节) | (高位字节) | (低位字节) | (高位字节) |
---------------------------------------------------------------------
| | 取样1 |
| 双声道 |--------------------------------------------------------
| 16bit量化 | 声道0(左) | 声道0(左) | 声道1(右) | 声道1(右) |
| | (低位字节) | (高位字节) | (低位字节) | (高位字节) |
---------------------------------------------------------------------
图6 wav数据bit位置安排方式
Data Chunk头结构定义如下:
struct DATA_BLOCK
{
char szDataID[4]; // 'd','a','t','a'
DWORD dwDataSize;
};
三、小结
因此,根据上述结构定义以及格式介绍,很容易编写相应的wav格式解析代码。
这里具体的代码就不给出了。
下面通过对wave的操作进行了解
- void CMy_RecordDlg::OnClickedStart()
- {
- // TODO: 在此添加控件通知处理程序代码
- m_record=true;
- pBuffer1 = (PBYTE)malloc(INP_BUFFER_SIZE);
- pBuffer2 = (PBYTE)malloc(INP_BUFFER_SIZE);
- if(!pBuffer1||!pBuffer2)
- {
- if(pBuffer1) free(pBuffer1);
- if(pBuffer2) free(pBuffer2);
- //MessageBeep(MB_ICONEXCLAMATION);
- AfxMessageBox(_T("Menory error"));
- return ;
- }
- waveform.wFormatTag = WAVE_FORMAT_PCM; //PCM编码
- waveform.nChannels = 1; //单声道
- waveform.nSamplesPerSec = 16000;//采样频率,每秒采集次数
- waveform.nAvgBytesPerSec = waveform.nSamplesPerSec * sizeof(unsigned short);
- waveform.nBlockAlign = waveform.nChannels * waveform.wBitsPerSample / 8;
- waveform.wBitsPerSample = 16; //采样位,模拟信号转数字信号的精准度
- waveform.cbSize = 0; //PCM编码时,此处为0
- //hWaveIn = NULL;
- //hWaveOut = NULL;
- if(waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,(DWORD)this->m_hWnd,NULL,CALLBACK_WINDOW)) //打开输入设备
- {
- free(pBuffer1);
- free(pBuffer2);
- MessageBeep(MB_ICONEXCLAMATION);
- AfxMessageBox(_T("Audio can not be open!"));
- }
- pWaveHdr1->dwBufferLength = INP_BUFFER_SIZE; //缓冲区大小
- pWaveHdr1->dwBytesRecorded = 0;
- pWaveHdr1->dwFlags = 0;
- pWaveHdr1->dwLoops = 1;
- pWaveHdr1->dwUser = 0;
- pWaveHdr1->lpData = (LPSTR)pBuffer1; //设置缓冲区
- pWaveHdr1->lpNext = NULL;
- pWaveHdr1->reserved = 0;
- waveInPrepareHeader(hWaveIn,pWaveHdr1,sizeof(WAVEHDR)); //将缓冲区信息和输入设备关联
- waveInAddBuffer (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ; //将缓冲区地址添加到输入设备中
- pWaveHdr2->dwBufferLength = INP_BUFFER_SIZE; //缓冲区大小
- pWaveHdr2->dwBytesRecorded = 0;
- pWaveHdr2->dwFlags = 0;
- pWaveHdr2->dwLoops = 1;
- pWaveHdr2->dwUser = 0;
- pWaveHdr2->lpData = (LPSTR)pBuffer2; //设置缓冲区
- pWaveHdr2->lpNext = NULL;
- pWaveHdr2->reserved = 0;
- waveInPrepareHeader(hWaveIn,pWaveHdr2,sizeof(WAVEHDR)); //将缓冲区信息和输入设备关联
- waveInAddBuffer (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ; //将缓冲区地址添加到输入设备中
- pSaveBuffer = (PBYTE)realloc(pSaveBuffer,1);
- dwDataLength = 0;
- waveInStart (hWaveIn) ; //打开输入设备,开始录音
- }
- LRESULT CMy_RecordDlg::OnMM_WIM_OPEN(WPARAM wParam, LPARAM lParam)//开始录音
- {
- ((CWnd *)(this->GetDlgItem(IDC_start)))->EnableWindow(FALSE);
- ((CWnd *)(this->GetDlgItem(IDC_STOP)))->EnableWindow(TRUE);
- m_record=true;
- TRACE(_T("MM_WIM_OPEN\n")); //这样方便调试
- return true;
- }
- LRESULT CMy_RecordDlg::OnMM_WIM_DATA(WPARAM wParam, LPARAM lParam)
- //缓冲区满的时候,对应的声音文件头如pWaveHdr1作为lParam传递进来
- {
- // Reallocate save buffer memory
- pSaveBuffer = (PBYTE)realloc (pSaveBuffer, dwDataLength +((PWAVEHDR) lParam)->dwBytesRecorded) ;
- if (pSaveBuffer == NULL)
- {
- waveInClose (hWaveIn) ;
- MessageBeep (MB_ICONEXCLAMATION) ;
- AfxMessageBox(_T("error memory"));
- return true;
- }
- //在pSaveBuffer尾部继续申请空间(上面的realloc 函数)
- //
- CopyMemory(pSaveBuffer + dwDataLength, ((PWAVEHDR) lParam)->lpData,
- ((PWAVEHDR) lParam)->dwBytesRecorded) ; //将缓冲区数据((PWAVEHDR) lParam)->lpData复制到pSaveBuffer的尾部刚申请的空间中
- dwDataLength += ((PWAVEHDR) lParam)->dwBytesRecorded ; //加长pSaveBuffer的实际数据长度
- if(m_record==false)
- {
- waveInClose (hWaveIn) ;//停止录音,关闭输入设备
- return true;
- }
- // Send out a new buffer
- waveInAddBuffer (hWaveIn, (PWAVEHDR) lParam, sizeof (WAVEHDR)) ;//将缓冲区添加回到设备中
- //假如现在是pWaveHdr1满了,lParam就是pWaveHdr1,在我们保存pWaveHdr1的数据时,pWaveHdr2正在录音,保存完pWaveHdr1,再把pWaveHdr1添加回到设备中,这样达到两个缓冲区交替使用。
- TRACE(_T("done input data\n"));
- return true;
- }
- void CMy_RecordDlg::OnClickedStop()
- {
- // TODO: 在此添加控件通知处理程序代码
- m_record=false;
- waveInReset(hWaveIn); //停止录音,关闭输入设备
- CFileDialog fdlg(FALSE,_T("wav"),_T(".wav"),OFN_HIDEREADONLY,_T("Wave files (*.wav)|*.wav|All files (*.*)|*.*||"),this);
- if(fdlg.DoModal() == IDOK)
- {
- // CString filename=fdlg.GetPathName();
- CFile file;
- file.Open(fdlg.GetPathName(),CFile::modeCreate|CFile::modeWrite,NULL);
- file.Write(pSaveBuffer,dwDataLength);
- file.Close();
- }
- return ;
- }
- LRESULT CMy_RecordDlg::OnMM_WIM_CLOSE(WPARAM wParam, LPARAM lParam)//停止录音时
- {
- TRACE(_T("MM_WIM_CLOSE\n"));
- if(dwDataLength==0)//没有数据长度为0
- return true;
- waveInUnprepareHeader (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ;//取消输入设备和pWaveHdr1的关联
- waveInUnprepareHeader (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ;
- m_record=false;
- free(pBuffer1);
- free(pBuffer2);
- ((CWnd *)(this->GetDlgItem(IDC_start)))->EnableWindow(TRUE);
- ((CWnd *)(this->GetDlgItem(IDC_STOP)))->EnableWindow(FALSE);
- //return ;
- //char szFilters[]="Wave files (*.wav)|*.wav|All files (*.*)|*.*||";
- return true;
- }