数字成像系统简述

本文向你介绍三方面内容：成像系统组成、3A系统概述、ISP统计信息。

文章目录

• 1 成像系统的组成
  • 1.1 视角
  • 1.2 曝光
  • 1.3 感光度 ISO
• 2 3A 系统概述
• 3 ISP统计信息

成像系统的组成

从成像过程来看，成像系统由如下部分组成：

当你打开手机准备拍照，镜头（Lens）会首先把被摄景物投影在图像传感器（Sensor）上，与此同时，影像处理器（ISP）会通过测光、测距算出合适的参数并指示镜头对焦，随着你按下拍照键，图像传感器（Sensor）会完成一次曝光，并通过影像处理器（ISP）变成图片，再经手机应用的后期处理，最终呈现在屏幕上。

而这其中的某一步，都关系到这张图片的画质，尤其在光线昏暗的夜晚。

拍照质量相关：视角、曝光、后期处理

视角

拍照最基本的是视角，这是凸透镜的成像原理，一个物体由无数个点光源组成，单个点光源从各个方向发出光线经透镜折射后都将汇聚在一点上，最终所有点光源都投射在一个平面上，也就是图像传感器的位置，形成清晰地倒像

而这个角度就是视角。

其中平行光经透镜折射后将汇聚在焦点上，焦点到透镜的距离成为焦距。

而物体到镜头的距离成为物距，传感器到镜头的距离成为像距。

焦距、物距、像距三者满足高斯公式

1/u + 1/v = 1/f

可以看出，但焦距越长或传感器越小，视角就越窄

受手机尺寸限制，手机中的相机，像距很短，所以焦距也非常短，通常在4mm左右

远小于单反相机标准镜头在35mm – 50mm

不过手机的图像传感器也很小，配合短焦镜头，视角正好与标准镜头类似。

曝光

选好视角，好看的照片还要靠曝光，由光圈值、快门速度、感光度决定。

光圈是镜头上用于控制通光量的结构，相当于人眼的瞳孔

镜头焦距越长，视角越窄，入射的光线也就越少。

需要更大的光圈直径以获得更多的光。

所以光圈值被设定为焦距f的分数，称为光圈f值。例如f/2.8表达的意思如下图所以，即光圈直径是焦距的1/2.8。

所以f值越大，光圈反而越小。f值越小就能给图像传感器投射更多的光，提高成像质量，对夜景拍摄特别重要。

感光度 ISO

影响成像质量最核心的还是图像传感器（Sensor）， Image Sensor是一种将光学信号（影像）转换成电子信号的设备，广泛应用在数码相机和其他电子光学设备中。主要分为感光耦合元件（Charge-coupled device CCD）和互补式金属氧化物半导体有源像素传感器（CMOS Complementary Metal-Oxide-Semiconductor）两种。

CMOS Sensor上面排列着上千万的像素，

每个像素里面的光电二极管在遇到光时就会因为光电效应积累一定数量的电荷，将光信号转换为电信号。

由于光电二极管无法识别颜色，所以不同像素上还要覆盖红绿蓝三种滤光片。

通常红（R）绿（G）蓝（B）是按照1:2:1的比例设置，以模仿对绿光敏感的人眼，这种成为Bayer Filter。

此外，每个像素周围都有专门的放大电路，能把转化出来的电信号（模拟电信号）以不同倍率进行放大，这样就是相机的感光度。

感光度越高就对光线越敏感，照片也越亮。

但是通过拉高ISO，每个像素都会因为电路干扰产生固定的噪音信号，在高ISO下，噪音信号也会更大，出现噪点。

噪点问题可以通过增大像素面积来缓解，在有噪音信号的情况下，大像素可以收集更多有用的光信号，增加信噪比，从而减少噪点。

手机使用的主流传感器一般在1/2.9 到 1/2.3英寸之间

图像传感器的信息输出后是Bayer式排列的RGB点阵，必须要经过ISP图像信号处理器处理转化为我们常见的点阵图片。

光源

• 自然光
• 人造光
• 闪光灯

光学

• Lens：镜头
• IRIS：光圈
• IR

机械

• 对焦马达
• 机械快门
• 电机光圈
• Zoom马达

半导体

• Sensor
  影像感光组件，利用感光二极管（photodiode）进行光与电的转换，将光信号转换为电信号。
• ISP
• DSP

3A 系统概述

3A在系统中的作用是什么？

感知现实环境，正确地配置相机，为其他的处理提供参考信息。

3A是现在手机相机差异化的基础

ISP统计信息

典型的ISP Pipeline如下图所示

• BLC(Black Level Correction)
• NR(Noise Reduction)
• LSC(Lens Shading Correction)
• WB(White Balance Gain)
• CSM（Color Space Matrix）
• CCM（color corr matrix）

3A统计信息在ISP Pipeline中输出的位置

3A输出信息比较典型的配置如下

AE的统计信息

主要包括R、G、B直方图和亮度信息

ROI(Region Of Interest)

AWB统计信息

AF统计信息

其他ISP统计信息