ISP:Image signal processor 的基础之我见

@[TOC]ISP:Image signal process基础之我见(这里写自定义目录标题)
工作之余，总想提笔写点什么，一直以来都有这个想法。也算对工作的一些总结。
首先还是要感谢_Sailor_的博客。很多内容都已经描述过了。
特别是
光与色的故事
https://blog.csdn.net/lz0499/article/details/77126717　
ISP基本框架及算法介绍
https://blog.csdn.net/lz0499/article/details/71156291
这两篇文章，请大家仔细欣赏。

光跟颜色是基础中的基础。不懂的话，就没办法往下看了。
这里想先讲讲camera的结构。ISP的很多事情其实跟硬件是息息相关的。

camera的简单结构
熟悉camera的朋友可自行跳过。

光是透过lens聚焦在sensor上的。lens是进入处理的第一步。
1.lens的透光性。
如何100%还原亮度？
2.lens的视野角度FOV。
角度越大，进入物体越多，聚焦到同一个sensor，就会影响生成图像的质量。
这就是有时候要考虑lens跟sensor搭配的问题。
分辨率高的sensor配一个广镜头也有可能得不到清晰的图像。
3.lens的中心部分与lens的周边部分的区别。
对，这就是lens shading 问题.
从制造工艺来说。中心通常质量更好一点。
4.光学相差问题 optical aberration
每种光线折射率不同，红绿蓝其实经过lens后并不交于一点，导致才生相差问题。

光进入sensor就引发光电效应，个人觉得这是人类史上的最伟大发明之一。
A photodiode is a semiconductor device that converts light into an electrical current.
光电转换后，就存储起来。如下图。

类似一个这样一个池子

但实际上，光线并没有直接进入到光电二极管（photodiode）。而是先经过CFA(Color Filter Array).

这是当前最流行的设计。这样的设计就导致了三种颜色的分开。
也有不分开的方案。一个点取到三种颜色。但成本比较贵。大家可以自行google。

很多问题就这样诞生了。
5. 没光的时候怎么办？
因为制造原件原因，没光也会产生微小的电流。（暗电流问题出来了。）很难克服。
不进行black level校正，后面所有的处理都可能产生错误。

6. 其中一个感应点坏掉了？
dead pixel. 坏点矫正。
7. 光电转换点不稳定？
noise问题出来了。（当然noise的成因很多。）
9. 光量的控制。
存储电量的元件满了。怎么办？会不会溢出？溢出了，会不会影响相邻的存储单元？
因此你需要调节曝光时间（exposure time）和光圈大小（Aperture）.
10. 场景，一半黑，一半亮？
希望亮的地方曝光少点，暗的地方曝光多点？光电转换没那么智能。又不是人眼。
WDR问题出来了。现在物理的做法可以sensor多帧曝光，然后ISP合成。
11. 每个池子真的只分到3分之一的能量？
其实每个厂家都只有自己的转换特性。
经典图形登场了。

大家看看明白就好。

12. 人眼对绿色特别敏感，所以设计成这样。
    
    经典bayer排列
    这样每个sensor的光感应点其实只能得到一种颜色，所以你需要还原每个点的R,G,B.
    插值问题出来了。（interpolation/demosiac）
    还原出来了，最后得到的是原来的值吗？差很多吧。
    所以你需要color correction。
    插值功能插多了。伪色false color问题出来了。当然，伪色问题涉及到很多方面。
    显示器输出亮度不匹配，你得注意gamma调整。

得到光电反应后的模拟信号了。后面怎么取出来？这需要了解CCD，CMOS的原理了。
不过基本上都是取到模拟信号，AD转换。放大等等。最后输出8bits的数字信号了。
ISP其实相当一部分都是给硬件打工。

说到这里终于开始要说ISP处理了。下回分解。

第一次写博客，欢迎大家指正。
真理越辩越明。