相机基础概念介绍

一.概念

Camera的成像原理

 景物通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为模拟的电信号，经过 A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过 IO 接口传输到 CPU 中处理，通过 LCD 就可以看到图像了.

外部光线穿过镜头Lens 后， 经过 Color Filter 滤波后照射到CMOS Sensor 上， CMOS Sensor 将从 Lens 上传导过来的光线转换为电信号，再通过内部的AD模数转换，转换为数字信号。如果 Sensor 没有集成 DSP（数字信号处理），则通过 DVP（数字视频端口） 的方式传输到 基带Baseband上，此时的数据格式是 RAW DATA。如果集成 了 DSP， RAW DATA 数据经过 AWB、 则 Color Matrix、 Lens Shading、 Gamma、 Sharpness、 AE 和 De-noise 处理，后输出 YUV 或 RGB 格式的数据。
最后会由 CPU 送到 framebuffer 中进行显示，这样我们就看到 camera 拍摄到的影像了
 

第一层“LENS”

        CAMERA的成像关键在于SENSOR，为了扩大CCD的采光率必须扩大单一像素的受光面积，在提高采光率的同时会导致画面质量下降。LENS就是相当于在SENSOR前面增加一副眼镜，SENSOR的采光率不是由SENSOR的开口面积决定而是由LENS的表面积决定。

第二层“滤色片”

      目前分色滤色片有两种分色方法：

A. RGB原色分色法，就是三原色分色法，几乎所有的人类眼镜可以识别的颜色都可以通过R、G、B来组成，RGB就是通过这三个通道的颜色调节而成。

B. CMKY补色分色法，由四个通道的颜色配合而成，分别是青（C）、洋红（M）、黄（Y）、黑（K），但是调节出来的颜色不如RGB的颜色多。

第三层“感光层（SENSOR）”

      图像传感器（SENSOR）是一种半导体芯片，器表面包含有几十万到几百万的光电二极管。光电二极管收到光照射时，就会产生电荷。

目前SENSOR类型有两种：

CCD（Charge Couple Device），电荷耦合器件

CMOS（Complementary Metal Oxide Semiconductor），互补金属氧化物半导体

第四层“A/D转换器”

       A/D转换器即ADC（Analog DigitalConverter 模拟数字转换器），将模拟电信号转换为数字电信号。

第五层"数字信号处理芯片DSP"

       数字信号处理芯片DSP（DIGITAL SIGNAL PROCESSING）功能：主要是通过一系列复杂的数学算法运算，对数字图像信息参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。

DSP结构框架：

1）ISP（image signal processor）镜像信号处理器

2）JPEG encoder（JPEG图像解码器）

3）USB device controller（USB设备控制器）
 

二 . 图像格式（image Format/ Color space）

RGB:

YUV

NV21

NV12

Image Sensor类型

a)     YUV Sensor

YUV Sensor输出的Data格式为YUV，图像的效果处理使用Sensor内部的ISP，BB端接收YUV格式的data后只进行格式的转换，效果方面不进行处理，由于Sensor内部的ISP处理能力有限，且YUV Sensor的数据量比较大（YUV422的格式1个pixel2个byte），一般Size都比较小，常见的YUV sensor都是5M以下

b)    Raw Sensor

Raw Sensor输出的Data格式为Raw，图像的效果处理使用BB端的ISP，BB端接收Raw data后进行一系列的图像处理（OB，Shading，AWB，Gamma，EE，ANR等），效果方面由BB端控制，需要针对不同的模组进行效果调试，Raw sensor是目前的主流，数据量比YUV Sensor小（RAW10 格式的sensor 1个pixel 10个bit）使用平台ISP处理，能支持较大的size

说明：

1) TG(Timing Generate):从sensor获取数据，并送给ISP处理.

2) Platform Data Processor: 

包括平台在后端对图像数据进行resize、rotate、flip、format convert等处理.它可以同时有两个buffer输出.

   当normal preview时，port1输出给display，port2输出给face detection或者app preview callback

   当normal capture时，port1输出大图给jpeg encoder，port2输出小图给回显和thumbnail encode.

当video record时，port1输出给display，port2输出给video encoder.

二.缩写介绍

1. 莱卡

2. 大光圈： 镜头 进光量大  快速对焦 虚化背景

3.广角镜头 焦距 短于 标准镜头 视角大于标准镜头 

4 虚化 ： 背景虚化，景深变浅

5 景深 ： 照片中清晰距离范围

6. 焦距不变 光圈越大 景深越浅

1.长焦
焦距在60mm以上的摄像镜头。其具备类似望远镜的功能，3X及以上的模组都属于这个范围。

FOV

HDR:(高动态范围，High Dynamic Range)

指的是在拍摄的相同画面内，能正常显示画面中最亮和最暗物体的区间范围。动态范围越大，其能正常显示的过亮或者过暗的物体就越多，其显示细节层次也就越丰富，也就是所谓的HDR（High Dynamic Rang）

Camera场景功耗优化
小编曾经搞过一段时间的功耗，也被Camera场景下的功耗优化折磨过一段时间。

降低帧率：在一些特殊场景，对camera的本身要求不是很高时，可以选择降低帧率的方式来降低功耗。
关闭算法：同帧率一样，在一些对camera本身要求不是很高的场景下，可以关闭算法，以降低功耗。
降低MIPI速率。
人脸检测周期调整。

1.不可访问

https://source.android.com

https://developer.android.com

2.可以访问

https://source.android.google.cn

https://developer.android.google.cn