项目中独立开发语音聊天功能,涉及到了语音录制和语音播放这两大块技术,由于后台更换平台的缘故导致这一功能前前后后调整了几次方案,特此记录总结:
1.AMR格式
一开始和安卓端约定的音频格式是amr,因为amr格式的音频文件比较小,而且音质也还不错,微信语音聊天也是采用的这种格式。安卓端那边直接是可以直接录制amr格式的音频,代码如下:
mRecorder = new MediaRecorder();
// 设置录音采集方式
mRecorder.setAudioSource(MediaRecorder.AudioSource.MIC);
//设置文件的输出格式
mRecorder.setOutputFormat(MediaRecorder.OutputFormat.AMR_NB);
//设置录音的编码格式
mRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);
//设置录音通道数
mRecorder.setAudioChannels(1);
//设置录音采样率(Hz)
mRecorder.setAudioSamplingRate(8000);
//设置录制的视频编码比特率
mRecorder.setAudioEncodingBitRate(64);
iOS端不能直接录制amr格式,只能先录制成wav格式,再通过第三方框架转码成amr:
do {
//基础参数
let recordSettings:[String : AnyObject] = [
//线性采样位数 8、16、24、32
AVLinearPCMBitDepthKey: NSNumber(value: 16 as Int32),
//设置录音格式 AVFormatIDKey == kAudioFormatLinearPCM(Mp3,Wav)
//设置录音格式 AVFormatIDKey == kAudioFormatMPEG4AAC(AAC)
AVFormatIDKey: NSNumber(value: kAudioFormatLinearPCM as UInt32),
//录音通道数 1 或 2
AVNumberOfChannelsKey: NSNumber(value: 1 as Int32),
//设置录音采样率(Hz) 如:AVSampleRateKey == 8000/44100/96000(影响音频的质量)
AVSampleRateKey: NSNumber(value: 8000 as Float),
//录音质量
AVEncoderAudioQualityKey: NSNumber(value: AVAudioQuality.low.rawValue)
]
self.recorder = try AVAudioRecorder(url: TempWavRecordPath, settings: recordSettings)
self.recorder.delegate = self
self.recorder.isMeteringEnabled = true
self.recorder.prepareToRecord() // creates/overwrites the file at soundFileURL
} catch let error as NSError {
self.recorder = nil
print("error localizedDescription:\(error.localizedDescription)")
TSAlertView_show("初始化录音功能失败", message: error.localizedDescription)
}
ps:录制音频的参数设置可根据项目要求自行设置,但是必须要保持安卓端和iOS端参数的统一,否则可能会出现两边音频不能互通播放的问题
wav转amr用的是GitHub上的第三方库:TSVoiceConverter
关于播放的问题:安卓端自带的播放器就可以直接播放amr格式的音频,但是iOS自带的播放器AVAudioPlayer、AVPlayer都无法播放amr格式的音频。采用的解决方案是,先将amr格式的音频从服务器下载下来,然后还是通过TSVoiceConverter转换成wav的音频格式,这样就可以播放了。
随着项目的开发进行,服务器由阿里云替换成了网易云,网易云的对象存储没有提供下载接口(网易云是真的坑)。。。音频播放只能转为在线播放,最坑逼的是网易云的上传接口没有提供统一转码的服务(服务器统一转码成mp3,安卓端和iOS端就都可以在线播放了),因此上传到服务器的音频格式还是amr,而iOS自带的播放器是无法播放amr格式的音频的,所以只能另辟蹊径了。
2.MP3格式
mp3格式是最常见的音频格式,几乎所有的播放器都支持,但是安卓和iOS自带的录音框架都不支持直接录制mp3格式的音频,所以两边都只能通过转码的方式来实现。
安卓端用的是这个第三方库:Mp3VoiceRecorderSampleForAndroid
iOS端用的是这个第三方库:iOS-Lame-Audio-transcoding
其实他们都是用的 Lame这个开源框架来进行转码的,只不过作者又封装了一层。
3.AAC格式
统一成aac格式是最简单的方案,因为安卓和iOS自带的框架都支持直接录制aac格式,并且使用自带的播放器都能直接播放:
安卓端:
mRecorder = new MediaRecorder();
// 设置录音采集方式
mRecorder.setAudioSource(MediaRecorder.AudioSource.MIC);
//设置文件的输出格式
mRecorder.setOutputFormat(MediaRecorder.OutputFormat.AAC_ADTS);
//设置录音的编码格式
mRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AAC);
iOS端:
do {
//基础参数
let recordSettings:[String : AnyObject] = [
//线性采样位数 8、16、24、32
AVLinearPCMBitDepthKey: NSNumber(value: 16 as Int32),
//设置录音格式 AVFormatIDKey == kAudioFormatMPEG4AAC(AAC)
AVFormatIDKey: NSNumber(value: kAudioFormatMPEG4AAC as UInt32),
//录音质量
AVEncoderAudioQualityKey: NSNumber(value: AVAudioQuality.low.rawValue)
]
self.recorder = try AVAudioRecorder(url: TempAacFilePath, settings: recordSettings)
self.recorder.delegate = self
self.recorder.isMeteringEnabled = true
self.recorder.prepareToRecord() // creates/overwrites the file at soundFileURL
} catch let error as NSError {
self.recorder = nil
print("error localizedDescription:\(error.localizedDescription)")
TSAlertView_show("初始化录音功能失败", message: error.localizedDescription)
}
ps:录制出来的aac格式音频文件大小与mp3差不多,都要比amr大很多,而且aac格式的通用性没有mp3的广,所以在选择的时候需要考虑这个问题
总结:
最优的方案应该是安卓端和iOS端统一录制为amr音频格式,然后上传至服务器后统一转码为mp3格式,这种方案通用性最广、产生的流量也是最小。