2.3 摄像机
摄像机作用:将通过镜头聚焦于像平面的光线生成图像。
数字传感器技术:
1、电荷耦合器件CCD(charge coupled device)
2、互补金属氧化半导体CMOS(complementary metal oxide semiconductor)
3、CCD与CMOS主要区别:读出结构(从芯片中读取数据的方式)不同。
2.3.1 CCD传感器
线阵传感器
功能:只能生成一个像素高度的图像。
要求:
1、为获取二维图像,线阵传感器必须相对于被测物运动。
2、为获取矩形像素,传感器必须与被测物平面平行,与运动方向垂直。
3、为获得方形像素,线采集频率必须与传感器分辨率,摄像机和被测物间相对运动匹配。
4、若运动速度是变化的,则需要通过编码器触发传感器采集每行图像。
5、若传感器与运动方向不匹配,则需要使用摄像机标定来确保测量精度。
6、要求非常强的照明,线读出时间在10~200kHz之间,每行的曝光时间被限制。
7、要求镜头光圈使用较小f值,景深被严重限制。
全帧转移面阵传感器
优点:
1、全帧转移面帧传感器填充因子(像素光敏感区域与整个靶面之比)达100%,可使像素的光灵敏度最大化,图像失真最小化。
缺点:
1、存在拖影现象,需加上机械快门或利用闪光灯来避免。下层像素读出时传感器还在曝光并产生电荷,而上层像素读出时会经过下层像素,多出的电荷会造成场景信息的积累,从而产生拖影。
帧转移传感器
优点:
1、填充因子可达100%,而且不需要机械快门或闪光灯。
缺点:
1、存在残留的拖影。虽然从光敏感传感器到光疲敝存储阵列,电荷转移速度快,时间短,但传感器依然在曝光。
2、成本高,需要两个传感器。
行间转移传感器
优点:
1、无拖影,不需要机械快门和闪光灯。
缺点:
1、填充因子可能低至20%,图像失真会增加,需在加上微镜头。移位寄存器会在传感器上占据空间,使得填充因子过低。
CCD传感器存在的问题:
1、高光溢出效应。当积累的电荷超出光电探测器的容量时,电荷会溢出到相邻的光电探测器中,使得图像中亮的区域被显著放大。
解决方法:
1、在传感器上增加溢流沟道(测溢流沟道和垂直溢流沟道)。
模拟CCD摄像机常用读出模式:
1、隔行扫描。CCD传感器读出时需两次曝光,若被测物在两次曝光之间移动,图像会出现锯齿
2、逐行扫描。采集运动物体图像时必须用逐行扫描。
2.3.2 CMOS传感器
缺点:
1、填充因子很低,需使用微镜。放大器和行列选择电路占据像素的大部分面积。
优点:
1、容易读出图像的矩形感兴趣区域。
2、可在传感器上实现并行模数转换。
3、读出速度快。
曝光方式:
1、行曝光。第一行与最后一行存在很大采集时差,采集运动物体图像时会变形。
2、全局曝光。传感器对应的每个像素都需要一个存储区,会降低填充因子。采集运动物体图像时需使用全局曝光。
2.3.3 彩色摄像机
1、灰度是入射光(传感器可响应的所有波长的光)积累后按传感器光谱响应的结果。
2、单芯片摄像机在传感器前加上彩色滤镜阵列(CFA)使得一定范围内的到达每个光电探测器。
3、Bayer滤镜阵列采样1/4红色、1/2绿色、1/4蓝色。加上抗图像失真滤光片避免由于红绿蓝颜色不均造成严重图像失真,通过颜色插值(如双线性或双三次插值)重建少采样部分以得到传感器全分辨率下的彩色图像。
4、三芯片摄像机利用分光器或棱镜将通过镜头的光线分成三束,在三个传感器前加上对应红绿蓝滤光片。三芯片摄像机可以克服单芯片摄像机图像失真问题,但成本高,需要三个传感器。
5、典型彩色CCD传感器对近红外敏感,需加上红外滤光片防止图像产生不希望看到的颜色。
2.3.4 传感器尺寸
1、传感器的尺寸大约是传感器标称尺寸的2/3,传感器的宽度大约是传感器标称尺寸的1/2。
2、镜头尺寸不能小于传感器实际使用大小,否则传感器外围没有光线到达。
3、图像大小一定,传感器分辨率越高,像素间距越小。
4、分辨率常用百万像素表示,分辨率越高,帧率和行频越低。
2.3.5 摄像机性能
图像灰度值产生过程:
1、曝光时,
μ
p
\mu_p
μp个光子落到传感器的区域内;
2、对于CCD产生
μ
e
\mu_e
μe个电子-空穴对,对于CMOS消灭
μ
e
\mu_e
μe个电子-空穴对;
3、电子-空穴对形成电荷转化为电压;
4、电压放大后通过模数转换数字化产生灰度值
y
y
y。
随机噪声:
1、光子噪声(光子的随时间不一致性)。光子不是等时间间隔到达传感器,而是按泊松分布模型的随机分布到达。
2、复位噪声。读出时像素电荷不能完成复位,可使用双采样(读出的电压-读出后像素中的电压)去除。
3、暗电流噪声。热也会产生电子-空穴,可对摄像机制冷来消除。
4、本底噪声(暗噪声)。即使没有光线也会有的噪声。
5、入量化噪声。电压通过模数转换器转化为数字引起的噪声。
信噪比:
S
N
R
(
μ
p
)
=
η
μ
p
σ
d
2
+
σ
q
2
/
K
2
+
η
μ
p
低
光
照
水
平
(
η
μ
p
<
<
σ
d
2
+
σ
q
2
/
K
2
)
:
S
N
R
(
μ
p
)
≈
η
μ
p
σ
d
2
+
σ
q
2
/
K
2
高
光
照
水
平
(
η
μ
p
>
>
σ
d
2
+
σ
q
2
/
K
2
)
:
S
N
R
(
μ
p
)
≈
η
μ
p
S
N
R
:
信
噪
比
μ
p
:
光
子
数
μ
e
:
电
子
数
η
=
μ
e
μ
p
:
量
子
效
率
σ
d
2
:
暗
噪
声
的
方
差
σ
q
2
:
入
量
化
噪
声
的
方
差
理
想
传
感
器
(
η
=
1
σ
d
=
0
σ
q
/
K
=
0
)
:
S
N
R
(
μ
p
)
=
μ
p
分
贝
表
示
:
S
N
R
d
B
=
20
l
o
g
S
N
R
有
效
位
数
表
示
:
S
N
R
b
i
t
=
l
g
S
N
R
SNR(\mu_p)=\frac{\eta \mu_p}{\sqrt {\sigma_d^2+\sigma_q^2/K^2+\eta \mu_p}} \\ 低光照水平(\eta \mu_p << \sigma_d^2+\sigma_q^2/K^2):SNR(\mu_p) \approx \frac{\eta \mu_p}{\sqrt {\sigma_d^2+\sigma_q^2/K^2}} \\ 高光照水平(\eta \mu_p >> \sigma_d^2+\sigma_q^2/K^2):SNR(\mu_p) \approx \sqrt {\eta \mu_p} \\ SNR:信噪比 \quad \mu_p:光子数 \quad \mu_e:电子数 \quad \eta=\frac{\mu_e}{\mu_p}:量子效率 \quad \sigma_d^2:暗噪声的方差 \quad \sigma_q^2:入量化噪声的方差 \quad \\ 理想传感器(\eta =1 \quad \sigma_d=0 \quad \sigma_q/K=0):SNR(\mu_p)=\sqrt {\mu_p} \\ 分贝表示:SNR_{dB}=20logSNR \\ 有效位数表示:SNR_{bit}=lgSNR
SNR(μp)=σd2+σq2/K2+ημpημp低光照水平(ημp<<σd2+σq2/K2):SNR(μp)≈σd2+σq2/K2ημp高光照水平(ημp>>σd2+σq2/K2):SNR(μp)≈ημpSNR:信噪比μp:光子数μe:电子数η=μpμe:量子效率σd2:暗噪声的方差σq2:入量化噪声的方差理想传感器(η=1σd=0σq/K=0):SNR(μp)=μp分贝表示:SNRdB=20logSNR有效位数表示:SNRbit=lgSNR
动态范围:
D
R
=
μ
p
.
s
a
t
μ
p
.
m
i
n
D
R
:
动
态
范
围
μ
p
.
s
a
t
:
饱
和
照
明
(
噪
声
仍
能
无
裁
剪
表
示
的
灰
度
值
)
μ
p
.
m
i
n
:
绝
对
灵
敏
度
阈
值
(
可
检
测
的
最
小
光
照
量
)
DR=\frac{\mu_{p.sat}}{\mu_{p.min}} \\ DR:动态范围 \\ \mu_{p.sat}:饱和照明(噪声仍能无裁剪表示的灰度值) \\ \mu_{p.min}:绝对灵敏度阈值(可检测的最小光照量)
DR=μp.minμp.satDR:动态范围μp.sat:饱和照明(噪声仍能无裁剪表示的灰度值)μp.min:绝对灵敏度阈值(可检测的最小光照量)
不均匀性:
1、不均匀性属于系统误差,有时也称空间噪声或模式噪声,与随机噪声相比不能通过时间平均来消除。
2、暗信号不均匀性:暗信号对于每个像素可能不一致。
3、光响应不均匀性:像素对于光的响应对于每个像素来说是不同的。
4、CMOS传感器比CCD传感器经常表现出明显较大的不均匀性,因为CMOS传感器每个像素都有放大器,故需要不同的增益和补偿。
D
S
N
U
1288
=
s
y
.
d
a
r
k
K
P
R
N
U
1288
=
s
y
.
50
2
−
s
y
.
d
a
r
k
2
μ
y
.
50
−
μ
y
.
d
a
r
k
D
S
N
U
:
暗
信
号
不
均
匀
性
P
R
N
U
:
光
响
应
不
均
匀
性
1288
:
E
M
V
A
标
准
1288
y
.
d
a
r
k
:
完
全
黑
暗
下
的
图
像
y
.
50
:
照
明
达
到
传
感
器
饱
和
度
的
50
%
的
图
像
s
:
图
像
的
空
间
差
异
μ
:
图
像
的
平
均
灰
度
值
DSNU_{1288}=\frac{s_{y.dark}}{K} \quad PRNU_{1288}=\frac{\sqrt {s_{y.50}^2-s_{y.dark}^2}}{\mu_{y.50} - \mu_{y.dark}} \\ DSNU:暗信号不均匀性 \quad PRNU:光响应不均匀性 \\ 1288:EMVA标准1288 \quad y.dark:完全黑暗下的图像 \quad y.50:照明达到传感器饱和度的50\%的图像 \\ s:图像的空间差异 \quad \mu:图像的平均灰度值
DSNU1288=Ksy.darkPRNU1288=μy.50−μy.darksy.502−sy.dark2DSNU:暗信号不均匀性PRNU:光响应不均匀性1288:EMVA标准1288y.dark:完全黑暗下的图像y.50:照明达到传感器饱和度的50%的图像s:图像的空间差异μ:图像的平均灰度值