FPGA_ISP：图像处理的基础

---

一、图像采样与量化

多数图像传感器的输出，是连续的电压波形信号，幅度与空间特性与感知光照相关。为产生一幅数字图像，需经过采样和量化，转为数字形式。

采样频率：1s内采样的次数，即采样间隔的倒数。采样频率越高，获得的数字图像越逼真。

Nyquist定理：图像的采样频率，必须大于或等于源图像最高频率分量的两倍。

量化：要使用多大范围的数值，来表示图像采样之后的每一个点。量化的结果是图像能容纳的颜色总数，其反映了采样的质量。例如：4位存储一点，则图像有16种颜色。16位存储一点，则图像有65536种颜色。量化位数越高，会占用更多的存储空间，需在视觉效果和存储空间作取舍。

8位、24位与32位图像：8位图像即灰度图像，这个灰度图像包含主要两度信息。对数字图像进行算法处理时，通常会先将图像转为灰度图像。24位图像即真彩图像，包含RGB三色通道。32图像还包含Alpha通道，用于表示图像的透明度。

图像处理方法：图像变换（变换域）、图像编码压缩、图像增强和复原、图像分割、图像描述和图像分类（具体细节有时间再补）。

---

二、可见光传感器

可见光传感器的市场主要被两类占据：CCD和CMOS。

Note：具体原理不需要懂，只要指导如何通过管脚时序，来给传感器芯片配置就好了。

拜尔分离技术：属于色彩分离技术中的颜色过滤阵列手段，为了恰当地描绘彩色图像，传感器每个像素位置有3个颜色样本——红绿蓝。But如果每个相机里面放置三个独立的传感器，在成本上无法接受，需要使用某种图像压缩算法，来避免在某个像素输出3个字节。一种常用的压缩方法是颜色过滤阵列CFA，Color Filter Array，这种阵列仅测试像素点的一个分量。后续，通过处理器对CFA后的数据，进行插值操作，就可以得到其他颜色的分量，这样处理后，就“好像”测量了三种颜色。当今，最流行的CFA是拜尔模式Bayer Pattern，最早由柯达公司发明，原理是人眼对绿色的分辨率高于红色和蓝色的分辨率这一事实。绿色点数：蓝色点数：红色点数 = 4:2:2。

---

三、色彩空间

色彩空间：Color Space，色域。在色彩学中，人们建立了多种色彩的模型：一维、二维、三维甚至四维来表示某一色彩，这种坐标系统所能定义的色彩范围即为色彩空间。常用的有几种：RGB、CMY与CMYK、HIS、YUV、YCbCr等。

CMY：Cyan青，Magenta洋红或品红，Yellow黄三种颜色简写，是相减混色模型，用这种方法产生的颜色之所以称为相减色，是因为它减少了为视觉系统识别颜色所需要的反射光。CMY中得到的黑色不是纯黑，一般需要添加纯黑的模型，变成CMYK模型，常用于印刷术，每种颜色分量的取值范围为0—100。而CMY常用于彩色打印。

HSI：美国彩色学家孟塞尔1915年提出，其反映了视觉系统感知彩色的方式，以色调、饱和度和亮度三种基本特征量来感知颜色。
色调Hue：与光波的波长有关，表示人的感官对不同颜色的感受。除了红色、绿色、蓝色等，还可以表示一定范围的颜色，如暖色、冷色等。
饱和度Saturation：表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看着越鲜艳，反之亦然。
亮度Intensity：对应成像亮度和图像灰度，表示颜色的明亮程度。
Notes：HSI模型非常适合彩色特性检测与分析。

YUV：欧洲电视系统采用的一种颜色编码方式。个人感觉后面没用这个，用YCbCr比较多，这个就不细说了。

YCbCr：世界数字组织视频标准研制过程的产物。Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量。人肉眼对视频的Y分量更敏感，故通过对色度分量进行子采样减少色度分量后，肉眼将察觉不到图像质量的变化。JPEG、MPEG均采用此格式。一般所说的YUV也常指YCbCr。下面这图是设计YCbCr模块的关键，后面聊。

---

百、时间线

一些关键时间点的记录：

2021年04月05日：书本16页之前的内容学习。

---