1.采集视频、音频
*1.1 采集视频、音频编码框架 *
*1.2 视频、音频硬件设备 *
· CCD :图像传感器:用于图像采集和处理的过程,把图像转换成电信号。
· 拾音器 :声音传感器:用于声音采集和处理的过程,把声音转换成电信号。
· 音频采样数据 :一般都是PCM格式
· 视频采样数据 : 一般都是 YUV ,或 RGB 格式,采集到的原始音视频的体积是非常大的,需要经过压缩技术处理来提高传输效率
2.视频处理(美颜,水印)
· 视频处理原理 :因为视频最终也是通过GPU,一帧一帧渲染到屏幕上的,所以我们可以利用OpenGL ES,对视频帧进行各种加工,从而视频各种不同的效果,就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标
o 现在的各种美颜和视频添加特效的app都是利用GPUImage这个框架实现的,.
*视频处理框架 *
· GPUImage : GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。
· OpenGL :OpenGL(全写Open Graphics Library)是个定义了一个跨编程语言、跨平台的编程接口的规格,它用于三维图象(二维的亦可)。OpenGL是个专业的图形程序接口,是一个功能强大,调用方便的底层图形库。
· OpenGL ES :OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三维图形 API 的子集,针对手机、PDA和游戏主机等嵌入式设备而设计。
3.视频编码解码
*3.1 视频编码框架 *
· FFmpeg :是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。
o -Libswresample:可以对音频进行重采样,rematrixing以及转换采样格式等操作。
o -Libavcodec:提供了一个通用的编解码框架,包含了许多视频,音频,字幕流等编码/解码器。
o -Libavformat:用于对视频进行封装/解封装。
o -Libavutil:包含一些共用的函数,如随机数生成,数据结构,数学运算等。
o -Libpostproc:用于进行视频的一些后期处理。
o -Libswscale:用于视频图像缩放,颜色空间转换等。
o -Libavfilter:提供滤镜功能。
·