ffmpeg经过解码得到YUV格式,然后将其转换成RGB用UIImageView渲染出来,但是这样效率低。一般是将YUV用OpneGL ES渲染。
怎么接收音频数据?
sensor( 麦克风):采集PCM格式的数据
常见的音频压缩算法:G711、Adpmc、AAC
同视频一样,音频的处理同样需要对数据进行采集、编码、压缩,当客户端收到数据以后,需要对数据进行解码、解压、还原数据(还原PCM格式),将还原成的PCM格式数据传给扬声器即可播放音频。
G711的压缩率大概为1/2,比如从麦克风采样1280个PCM格式字节,压缩(编码)后为640个G711格式的字节,客户端到数据以后,将其解码还原成1280个PCM格式的字节
Adpmc可以压缩到1/4,比如从麦克风采样1280个PCM格式字节,压缩(编码)后为320个Adpmc格式的字节,客户端到数据以后,将其解码还原成1280个PCM格式的字节
如果两个手机相互实时通信,会产生回声,回声消除有两种方法:用硬件消除、用软件消除。
OpenAL:用于播放Audio,
OpenCL:用于并行计算,主要用在显卡上面。
OpenGL:主要用于3D