OpenGL ES 实现可视化实时音频

该原创文章首发于微信公众号字节流动

音频数据的采集

OpenGL 实现可视化实时音频的思路比较清晰，可以利用 Java 层的 API AudioRecorder 采集到未编码的音频裸数据（PCM 数据），也可以利用 OpenSLES 接口在 Native 层采集，然后将采集到的音频数据看作一组音频的强度（Level）值，再根据这组强度值生成网格，最后进行实时绘制。

本文为方便展示，直接采用 Android 的 API AudioRecorder 采集音频裸数据，然后通过 JNI 传入 Native 层，最后生成网格进行绘制。

在使用 AudioRecorder 采集格式为 ENCODING_PCM_16BIT 音频数据需要了解：所采集到的音频数据在内存中字节的存放模式是小端模式（小端序）（Little-Endian），即低地址存放低位、高地址存放高位，所以如果用 2 个字节转换为 short 型的数据需要特别注意。另外，大端序与小端序相反，即低地址存放高位、高地址存放低位。