监控相机简介
文章目录
一、相机工作流程
- 当打开手机准备拍照,
镜头(Lens)
会首先把被摄景物投影在图像传感器(Sensor)
上,与此同时,影像处理器(ISP)
会通过测光、测距算出合适的参数并指示镜头对焦 - 随着你按下拍照键,
图像传感器(Sensor)
会完成一次曝光,并通过影像处理器(ISP)
变成图片,再经手机应用的后期处理,最终呈现在屏幕上,这就是消费者看到的 JPG 图像
二、相机之硬件介绍
2.1 Lenses&Spaces
- 镜头,是将拍摄景物在传感器上成像的器件,它通常由几片透镜组成,从材质上看,摄像头的镜头可分为塑胶透镜和玻璃透镜
- 镜头主要指标:解析度(Resolution)、视场角(Fov)、焦距(Focus length)、聚焦能力(Focusing Range)、光圈系数、失真(Restortion)
2.2 Voice Coil Motor(VCM)
- 音圈马达:手机摄像头广泛使用 VCM 实现自动对焦功能,通过 VCM 可以调节镜头的位置,呈现清晰的图像
- 实现原理:主要是通过固定磁场加电流产生力进而引起马达运动然后对焦,通过步进方式在空间寻找对焦位置并通过对焦算法确定何时停止寻找对焦位置
2.3 CMOS Image Sensor(CIS)
- 图像传感器:是摄像头组成的核心,也是最关键的技术,主要有两种,一种是 CCD 传感器,一种是 CMOS 传感器
- 图像传感器主要指标:
- 灵敏度(sensitivity mv/lux.sec):即 1 lux 照度下,1 秒像素产生的电压值,其反应传感器的光电转换效率
- 动态范围(Dynamic Range dB):一个动态范围大的传感器能准确记录影像从亮部到暗部的复杂变化,sensor 动态范围很大程度上取决于单个像素面积大小
- 暗电流(Dark shading pA.cm2):即在完全黑暗情况下,1s 内像素产生电压值,其更多反映传感器材料性能
- 信噪比(dB):信号电压与噪声电压的比值
- 帧率(frame per second):一秒出帧数
- 功耗(power consumption mw)、尺寸
- 白平衡能力
- 滤光片:图像传感器对比较广的光都能感应,但是不同频段的光属性有差异,因此需要配合使用滤光片
-
红外滤光片:滤除红色光,解决 R/G/B 对红外光感应无区分度的问题
-
透雾滤光片:一般透过较窄较长波段的光,穿透力较好
-
偏振片:滤除一定角度下的偏振光,减弱杂光的影响
-
2.4 补光灯
-
常亮补光灯(串口控制):主要指夜晚配合监控摄像机补光,晚上一直亮着,没有频闪功能,和普通照明的灯的功能是一样的,10 颗高亮 LED 灯珠
-
频闪补光灯(脉宽控制):光源根据时间按照一定频率变化(人眼看起来是常亮,但实际上跟摄像机曝光频率同步在闪烁),与摄像机视频同步,可以实现与视频流中的每帧曝光同步,既能进行
录像补光
又能进行抓拍补光
,一般可用于机动车辆全天候抓拍补光
-
爆闪补光灯(LED 补光灯,短频触发控制):亮度比频闪补光灯高些,可以做到单帧同步曝光(系统检测到有车过的时候会闪一下,没有车就不闪),补光效果较好,具有
抓拍补光
作用,多用于电子警察、卡口系统、公路治安等晚上补光需要拍整车或者司机人脸高清照片
三、相机之图像相关概念
3.1 色域
- 指某种表色模式所能表达的颜色构成的范围区域,分为 RGB、AdobeRGB、NTSC(BT601 色域标准)、REC 709(BT709 色域标准)、DCI-P3(BT2020 色域标准)
3.2 色深
- 指色彩数量的多少,它影响的是色彩过渡的平滑程度。目前市面上主流的显示器色深基本上就三种:6bit,8bit,10bit,色彩数量越多,过渡越顺滑
- 超高清蓝光标准中规定色深为 10bit,即能够显示
10.7 亿
种颜色(RGB中每一个颜色有2的10次方也就是1024个等级,RGB三色则共有10.7亿(1024×1024×1024)种色彩搭配)。而普通蓝光标准支持的是 8bit 色深,只有1677万
种颜色,差距悬殊。
3.3 色准
- 色准就是色彩精准度,一般用△E值表示显示器色彩与标准值之间的差距有多大,△E值越小、颜色准确度越高
- 大众级显示器的△ E值在3-12之间,可以满足普通人日常上网、打游戏、看视频的需求;色彩精准度 △E≤2,在色彩表现方面就非常专业了
3.4 色温
- 色温从字面解就是颜色的温度,红黄啡这些颜色我们称之为暖色,而青蓝绿这些我们称为冷色
- 色温的单位是以 K(Kelvin,绝对温度) 值来作表示。在低色温光源下,白色物体偏红,色调风格为
暖色
;在高色温光源下,白色物体偏蓝,色调风格为冷色
- 白平衡:在不同色温的光源下,白色在传感器中的响应会偏蓝或偏红,白平衡算法通过
调整 R, G, B 三个颜色通道的强度
,使白色真实呈现:- 色温值低于环境值就能得到一张偏蓝色的照片
- 色温值高于环境值就会得到一张偏黄色的照片
- 色温值等于环境值就会得到一张原色的照片
- 一些常见色温的实例:
- 16000-20000K:天空碧蓝的天气
- 8000K:浓雾弥漫的天气
- 6500K:浓云密布的天气
- 6000K:略有阴云的天气
- 5500K:一般的日光,电子闪光灯
- 5200K:灿烂的正午阳光
5000K
:日光,这是用于摄影、美术和其他目的专业灯箱的最常用标准- 3200K:日光灯
2800K
:钨丝灯/电灯泡(日常家用灯泡)- 1800K:烛光
- 1600K:日出和日落
3.5 对比度
- 对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小,从视觉上来看就是
画面的明暗反差程度
- HDR,高动态对比度,表现在画面上就是能够同时照顾到暗部与高亮细节,带来更接近人眼视觉的动态范围
- 增加对比度,画面中亮的地方会更亮,暗的地方会更暗,明暗反差会增强
- 假如图像上明暗变化均匀,最亮处与最暗处的差值没有超过但是接近显示器的动态范围,那么可以看到图像丰富的明暗层次
- 假如最亮处与最暗处的差值远小于显示器的动态范围的最小值,那么图像层次减少,会出现雾蒙蒙的感觉
- 假如最亮处与最暗处的差值超过了显示器的动态范围的最大值,那么图像部分层次会丢失,出现全亮或全暗的区域
3.6 清晰度
- 指的是
被摄主体边缘附近的灰度对比
,如果增加清晰度,边缘较暗的一侧会变得更暗,边缘较亮的一侧会变得更亮,轮廓会更加清晰,不过如果调节过度会使得边缘附近出现 伪影 - 增加清晰度可以通过
锐化
操作来进行,降低清晰度可以通过降低图像分辨率、增加模糊
等方法来进行
3.7 码率
- 码率(也称比特率 Bit Rate)就是数据传输时单位时间传送的数据位数,一般我们用的单位是
kbps
(千位每秒)或Mbps
(百万位每秒) - 码率决定着编码器压缩视频的程度,是决定视频最终质量和文件大小的关键因素:
- 图像分辨率固定的情况下,
码率越低
,表示压缩程度越高,视频质量相对较差
,视频文件相对较小 - 图像分辨率固定的情况下,
码率越高
,表示压缩程度越低,视频质量相对越高
,视频文件也就越大
- 图像分辨率固定的情况下,
- 举例说明如下:
- 对于 YUV422 格式的 1080P 视频而言,一帧图像所占用的数据量为:
1920x1080x2x8/1024/1024 = 31.64Mb
,假如帧率为30fps
,码率为10Mbps
,则单位时间内需要传输的数据量为949.2Mbs
- 可见其数据量之大,不经过视频压缩处理根本无法在网上传播(一般编码压缩算法有 H.264, H.265,H.264 压缩率可达
1/100
),1080P 的视频的清晰度还跟视频码率密切相关,蓝光视频的码率是20Mbps
,一般下载的视频码率大都是10Mbps
,一些 IPCamera 的码率是2-16Mbps
- 对于 YUV422 格式的 1080P 视频而言,一帧图像所占用的数据量为:
四、相机之图像处理
4.1 ISP Pipeline 介绍
- ISP 芯片的主要作用就是对传感器输入的信号进行运算处理,最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果
- 下图是一个基本的 isp pipeline 流程图,其根据处理节点的不同分为 RAW域、YUV域、RGB域。其中 isp pipeline最关键的是3A算法,即 AE、AF、AWB,但从上述图发现没有AE和AF?实际上这两个算法在 raw 图施加到 pipeline上时候已经提前调试好了,因为只有 AE 曝光稳定,AF 对焦准确,对于 Raw 域和 YUV 域进行的图像处理才有意义,否则都没有稳定的光电感应和准确对焦,何来更高的图像质量?
4.2 图像质量评价
-
图像的质量评价,有客观指标和主观评价两方面:
- 客观指标:白平衡、色彩偏差、线数、信噪比、动态范围等,典型的测试软件有
Imatest
,配合使用各类测试卡 - 主观评价**:亮暗程度、清晰度、色彩、通透性、噪声**等
- 客观指标:白平衡、色彩偏差、线数、信噪比、动态范围等,典型的测试软件有
-
图像的风格:
- 主要是在 信噪比、动态范围和色彩 这三个维度上进行选择和权衡
- 清晰度应该适度优先于噪声,但应避免过锐;动态范围应该尽可能的广,同时权衡好通透性;色彩应当准确、生动
五、相机之曝光调整
- 曝光指的是进入相机并照射到数字传感器上的光量,它是衡量一张照片有多暗或多亮的一个指标。我们可以通过改变
光圈、快门速度和 ISO
设置来控制到达传感器的光量。- 现代相机都有自动测光功能,自动测光系统会尝试让画面的整体亮度接近中性灰,通过调整
曝光补偿
来让相机拍出来的画面更加符合真实和实际意图- 可以调节亮度、gamma、shading、对比度?
5.1 光圈
- 光圈指的是光线进入相机时镜头开口的大小,孔径大小以 f 为单位测量,孔径越大单位时间内通过的光线也就越多
- 常见的光圈值如下:
f/1.0, f/1.4, f/2, f/2.8, f/4, f/5.6, f/8, f/11, f/16, f/22, f/32
,f/
后面的数值越小,光圈越大- 景深与光圈大小相反,光圈越大景深越浅(可达到背景虚化的效果),光圈越小景深越深(从前景到背景都是清晰的)
5.2 快门速度
- 快门速度是指 镜头上的开口保持打开 以让光线进入相机和传感器的 时间长度 ,快门速度可以是 1 / 10000 秒(快速定格),也可以是几分钟(长曝光),车辆抓拍快门常小于
1/250s
,人脸抓拍一般1/100s
,场景监控一般1/25s
或者1/50s
即可- 快门上限:
sensor
采集帧率的倒数,例如采集帧率为60
帧,那我们的快门上限只有1/60
,所有大于1/60
的快门都是无法设置的- 快速的快门速度具有
冻结运动
的效果; 相反,慢速快门(通常是指低于 1/30s 的快门速度)会使场景的运动模糊
- 防闪烁:快门和光源频率保持一致即可,假如我们以
60Hz
的快门对着50Hz
闪烁的光源,就会出现同一帧采集到了光源不亮的时候,导致出现了闪烁
5.3 ISO 感光度
- ISO 感光度指图像传感器 CCD/CMOS 对光线的敏感程度
- 在光圈大小固定时,更高的 ISO感光度 能够使用更高快门速度获得同样的曝光量,如果在固定场景中,ISO感光度等于
100
快门速度为2s
可获得正确曝光,那么ISO感光度等于200
时只需1s
快门速度,ISO感光度等于400
则只需0.5s
快门速度- 常用的ISO感光度从
100、200、400
开始倍增,某些相机可以高达25600
,ISO 的大小会直接影响图像亮度,高的 ISO感光度可以使用较高的快门速度(避免相机抖动导致画面模糊)获取正确曝光的照片,但是图像噪声也会随之增加,要想获取精细的画面,如在风光摄影中,通常将相机 ISO感光度设置为最低
5.4 曝光补偿
- 如果你发现你的照片太亮或曝光过度,你可以简单地通过减一档曝光来降低曝光量,这会使照片的光线变暗
- 有时候,无论你使用哪种光圈和快门速度,你的相机都无法完全表现场景中的
明暗细节
。这是因为大部分相机的宽容度都有效,宽容度可以理解成相机中能看到细节的最暗与最亮的区间,如果这个区间越大,那么画面能表现的明暗细节越大,人眼的宽容度就比相机高很多,这时我们可以使用HDR技术。- HDR 是一种合成技术,通常采取 3 个相同的场景的照片,一个与曝光设置为 “0”,另一个故意曝光不足 2 档和最后一个故意过曝 2 档。 然后,将这些照片在后期处理中合成,得到"完美的"曝光
- 在下面的例子中,对布拉格的查尔斯桥进行了 3 次曝光,然后在后期制作中将它们混合在一起,制作出了一张单独的照片,在画面的所有区域都有大量的细节
5.5 数字增益
- 增益分为模拟增益放大和数字增益放大,前者直接应用在传感器上(靠放慢快门和开大光圈来实现),后者则是通过处理数字信号的方式实现(在拍摄过程中通过运算来提亮画面,会造成颗粒增加,画面模糊); ISO和增益属于模拟放大,动态范围的分布不会改变;EI 属于数字放大,动态范围的分布会改变
- 增益的分贝与 ISO 相对应,每 +6db 相当于 ISO 翻一倍,随着 gain 值增大会带入相应的噪声
- 在传统图像处理中,
不同的曝光时间可以通过数字增益进行调节
,即短曝光的图像通过乘以相应的数字增益可以得到长曝光的图像
- 通过将
短曝光的 Raw RGB 图像乘以数字增益
可以得到长曝光的网络需要拟合的图像,减轻网络学习的复杂度,帮助网络的收敛- 其中增益值可以通过快门时间来计算,详细地说,若快门时间 1 为 0.1 秒,快门时间 2 为 0.2秒,则快门 1 到快门 2 的增益为
0.2/0.1=2
六、参考资料
1、大话成像技术论坛
2、ISP 图像处理
3、https://github.com/cruxopen/openISP
4、https://github.com/jhfmat/ISP-pipeline-hdrplus
5、摄像头是如何拍出照片的,你知道吗?
6、关于码率