上个星期公司给出了一个项目需求,做一个基于socket通讯协议的网络对讲机。于是在项目开始前计划了一下基本的实现流程。
1、从手机麦中采集音频数据;2、将PCM音频数据编码压缩;3、将压缩好的音频通过无线网络发送出去;4、其他手机接收音频数据并解码;5、将音频数据写入到音轨中播放。项目虽然简单,但其中的一些小问题也折腾了我不少时间。
首先我们创建一个线程用来采集音频数据,通过android提供的AudioRecord可以实时采集音频流。AudioRecord类在Java应用程序中管理音频资源,用来记录从平台音频输入设备产生的数据。其实调用AudioRecord很简单,首先创建AudioRecord对象,AudioRecord会初始化并连接音频缓冲区,用来缓冲新的音频数据。根据指定的缓冲区的大小来决定AudioRecord能够记录多长的数据。
调用getMinBufferSize(int,int,int)返回最小的缓冲区大小。然后根据得到的最小缓冲区大小来创建AudioRecord对象:
inputMinSize = AudioRecord.getMinBufferSize(8000, AudioFormat.CHANNEL_CONFIGURATION_MONO, AudioFormat.ENCODING_PCM_16BIT); audioRec = new AudioRecord(MediaRecorder.AudioSource.MIC, 8000, AudioFormat.CHANNEL_CONFIGURATION_MONO, AudioFormat.ENCODING_PCM_16BIT, inputMinSize);
AudioRecord初始化工作完毕后启用录制线程,并且调用startRecording ()开始进行音频录制。调用read(short,int,int)方法从音频硬件录制缓冲区读取数据。拿到音频数据后,直接通过网络发送出去是不行的,我们在这里还要做一项工作就是实现音频压缩。在网上提供了很多音频的编码库,我们可以将源码导入到项目中通过android ndk编译成.so文件,最后通过jni来调用。我这里直接用sipdroid开源项目提供的SILK编解码库(下载编码库)。
本地方法 encode(short[] lin,int offset,byte[] encoded,int size) 参数 lin 源数据 offset 源数组的起始偏移量 encoded 编码后的数据 size 请求编码的数据大小返回值 编码后的数据大小调用encode(short[], int, byte[], int)压缩已经采集完毕的音频数据,我们就可以通过网络发送出去了。
接下来,我们创建一个socket udp实例,为什么这里选择udp而不是tcp呢?从我们本身的项目需求出发,我们做的这个项目的通讯方式是相互收发数据的,属于手机与手机两“客户端“之间的通讯。并且,在这种音频通信过程中,我们要传输的数据量是比较庞大的,因此采用资源消耗少,处理速度快的UDP协议是合理的。指定发送的端口号,我们将数据封装成报文发送出去,整个采集发送的过程如下: