音视频编解码常用框架

• 音视频的采集
  • AVFoundation（数据采集）
• 滤镜处理 -CoreImage/GPUImage（1.2 OpenGL ES 3.0 Metal）
• 压缩（编码）
  • VideoToolBox - 视频编码（硬编码）
  • AudioToolBox：-音频编码（硬编码）
  • 硬编码：硬件加速器：GPU，不使用CPU来编码计算， 而是GPU来视频计算
    • CPU:并行，
    • GPU:计算单元，并发运算
    • 为什么使用GPU而不是CPU？
      • 处理数据快，硬件支持
• 分离：音/视频 （图片也是有压缩）
  • 解码：AudioToolBox、VideoToolBox ：将压缩的音视频进行还原
    • 音频数据：还原成PCM数据
    • 视频数据：-渲染（显示）
    • ijkPlayer 开源框架，视频渲染屏幕，kxmovie 均使用openGL做渲染
    • 安卓：openGL ES iOS ：Metal/OpenGL ES 图形渲染框架
• 数据采集的渠道：
  • 1.直接拍摄（摄像头/麦克风-数据）
  • 2.文件中读取
  • 纹理 （来自OpenGL ES）
  • RGB转化为 YUV （ YUV 颜色的处理