开源多媒体项目汇总与分析

1.概述

多媒体信息处理，特指视频、音频媒体数据的处理。媒体数据包括原始信号数据（未压缩）和编码后媒体流数据（已压缩），处理域可能在空间域、时间域或变换域上。其中视频处理具体包括视频编码、解码、采集、显示、分组（打包）、解分组（拆包）、合成、分割、上采样、下采样、OSD叠加等等；音频处理具体包括音频编码、解码、采集、回放、分组、解分组、混音、噪声抑制、回声消除、增益控制等等；此外还有音视频流化、音视频的复用与解复用、音视频同步等处理技术。多媒体信息处理应用的硬件平台涵盖x86平台、ARM平台、DSP平台、GPU平台，操作系统包含服务器PC机上主流的OS，如Windows（x86）、Linux（x86）以及嵌入式OS，如Embedded Linux、Android、iOS等。技术领域覆盖通信基础、计算机硬件原理、计算机网络、计算机软件架构、音视频编码协议与算法等等。本文仅简要分析一些常见的多媒体处理的软件开源工程，暂不包括硬件技术、多媒体通信信令标准等内容。
近几年来，本人在工作中接触到的开源多媒体项目如下图所示，其中绿色代表仅支持x86平台的Windows OS，红色代表仅支持x86平台的Linux OS，黄色代表支持x86平台上两种OS，蓝色代表仅支持嵌入式平台。直角方框表示开源库，圆角方框代表构建于开源库上的应用。

2.软件框架类

2.1 Directshow/Media Foundation