很多人在学习完linux后不知道应该学什么,并且对于音视频领域的认知只限于道听途说。
这里介绍两个音视频的方向——ISP与DSP
ISP
ISP——Image Signal Process图像信号处理
我们先来看这张图
当看到系统框架图的时候千万不要害怕,一个块一块,一个功能一个功能去看,就可以清晰很多。
-
image sensor core
——图像传感器核心
这一部分主要是用于视频采集,就是sensor
把拍到的东西(模拟信号)转化成电子设备看得懂的东西(数字信号),此时的数字信号是视频流,格式为rawRGB
。这个就是模数转换
摄像头后面有个感光元器件,这个感光元器件就被称为sensor。 -
image sensor processor
——图像传感器处理
这一部分就是将数字信号进行一系列的处理。
这一个模块收到的信号就是由sensor
模块转换过的rawRGB
的视频流。
ISP
处理的就是这个rawRGB
流,主要工作就是视频调优。内容有线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制、3A算法等
等等。
ISP处理完后就是compression
压缩,和format
转换。这是因为rawRGB
占用空间很大,不利于传输和存储,也不能用于后面的DSP
。
若想了解这其中的格式转换,需要先分别了解它们各自的存储方式 。
这些格式我都做了整理,放在下面供大家学习
详解YUV数据格式
详解RGB数据格式
image output interface
——图像输出接口
将ISP
处理完的视频流输出给下一个模块DSP
,或者直接输出为图像
这里的FIFO
是一个缓冲机制,以免右边的输出停止或者左边断了
图像输出接口将视频流输出给DSP
DSP
DSP通常有两个含义。
-
数字信号处理(Digital Signal Processing,DSP),是一门学科技术,使用数值计算的方式对信号进行加工处理的理论和技术。
-
数字信号处理器(Digital Signal Processor,DSP),是一种专门用于数字信号处理领域的微处理器芯片。
这里说的是DSP——Digital Signal Process数字信号处理
这里的数字信号,指的是将由sensor
采集,ISP
处理后的rawRGB
视频流压缩转换的YUV
格式视频流。
DSP是我选择的方向,介绍在下面两篇博文中