第二章 图象获取、显示、表示与处理
图象获取是图象的数字化过程,显示则是将数字图象转化为适合人们使用的形式,而处理是通过软件对图象进行变换操作的过程。
1.图象获取
图象获取也就是图象的数字化过程,即将图象采集到计算机中的过程,主要涉及成像及模数转换(A/D Converter)技术,曾经是很昂贵的,一直是挡在普通用户面前的难以逾越的主要障碍之一,随着计算机与微电子特别是固体成像设备(电耦合设备CCD(Charge Coupled Devices) )的快速发展,使得图象获取设备的成本显著降低,因而越来越普及,不久的将来将成为高档微机的内置设备。
以CCD技术为核心,目前图象获取设备有黑白摄象机、彩色摄象机、扫描仪、数字相机等,性能与价格主要取决于CCD的规格,如尺寸等。除了这些常见的类型外,目前有许多厂商提供各种其它的专用设备,如显微摄象设备、红外摄象机、高速摄象机、胶片扫描器等等。此外,遥感卫星、激光雷达等设备提供其它类型的数字图象。
目前,图象的数字化设备可分为两类,一类是基于图象采集卡或图象卡将模拟制式的视频信号(RS170/CCIR黑白电视信号,PAL/NTSC彩色电视信号,S-Video视频信号等)采集到计算机,另一类是摄象机本身带有数字化部件可以直接将数字图象通过计算机端口(如并口、USB接口)或标准设备(如磁盘驱动器)传送进计算机。
图象卡仍是目前专业中常用的图象数字化设备,目前低端的图象采集卡一般不具有图象帧存体而是直接将图象采集到计算机的内存中以供处理,如加拿大Matrox公司的Metero-II采集卡,高端的图象卡是集采集和处理于一身的昂贵的非标准配件,如Matrox公司的Genesis图象卡,具有帧存体和数字信号处理器DSP及邻域处理加速器NOA,用于开发高速或实时处理应用。此外,还有一类普及型的多媒体视频采集卡,如宝狮Boser602,主要用于视频会议、视频邮件等应用。最后,还应提到的是一类多媒体应用中使用的压缩卡,如AV8 MPEG压缩卡,可以将视频压缩成MPEG-I格式,主要用于VCD制作和视觉保安系统中,当然也具有图象采集功能。后两种都支持微软的VFW(Video For Windows)标准。此外,高档的压缩卡,如RT2000压缩卡可以将视频压缩成MPEG-II格式等,影视制作行业还有各种高性能的图象及视频编辑设备等。
近年来,数字相机及数字摄象机技术迅猛发展,由于不需要其它数字化设备的支持,且具有更高的分辨率及编辑、使用方便等特点,有望逐步取代目前模拟摄象机的地位。但目前价格对普通用户而言还相对过高。应该指出的是传统的胶片相机和摄象机仍有其优势,特别是在分辨率上目前的数码影象采集设备还有相当的差距,例如传统的35mm胶卷数字化需要至少4000´4000分辨率以保持原有的信息,目前这种层次的专业级数码相机还十分昂贵,难以普及,更不用说如此巨大的数据量在存储和处理上的所面临的挑战是艰巨的。
若干专业术语:
CCD:电荷耦合器件,可看成间隔很小的MOS电容器、单片阵列构成移位寄存器,通过充电积累电荷。
A/D、采样、量化
Video信号、同步、信噪比SNR
电视制式、帧、场、隔行(Interlace)扫描、宽高比(aspect ratio)
PAL:25帧/秒,奇数场、偶数场(1/50 s/f,625行)
NTSC:30帧/秒,奇数场、偶数场(1/60 s/f,525行)
扫描仪:分辨率dpi(dot per inch)
遥感(Remote Sensing)
显示是将数字图象转化为适合人们使用的形式,便于人们观察和理解。早期的图象处理设备一般都有专门的图象监视器供显示专用,目前一般直接用计算机的图形终端显示图象,图象窗口只是图形用户界面的一个普通的窗口。为方便处理,通常图象都表现为一矩形区域的位图形式(Bitmap format)。
CRT显示(Cathode Ray Tube)
方向比 (4:3)1024x768, 800x600
分辨率,象素,调色板(查找表)
打印
分辨率,空间
灰度→区域上点数
图案法
抖动法
基本方法:混色
基本概念
灰度图象:也称单色图象(Monochrome image),通常每个象素用一个字节来表示。
灰度级:表示象素的灰度范围,如1Byte/pixel是256级灰度。
分辨率:用来描述数字图象所表示的空间细节的程度(高或低),如与设备无关的分辨率表示:象素的个数MxN,以及与设备有关的表示,如dpi(dot per inch),pixel/mm line.
亮度和对比度:是人眼感知物体的主观度量。亮度即明亮程度通常用照度度量,而对比度与物体相对于背景的亮度差别有关,一般用差别与背景的亮度的比值来衡量。
光谱
彩色图象:通常真彩色用三字节的R,G,B来表示,即8:8:8=24位。另外,彩色有多种不同的表示方式,例如,YUV(PAL制式),YIQ(NTSC制式),HSI表示。
R、G、B (三基色波长(CIE)Blue: 435.8nm, Green: 546.1nm,Red: 700nm)
彩色空间
调色板(palette):图象的色彩索引表。若图象的色彩数远小于全色彩数时,当每个象素的值用色彩索引表的位置表示就可以大大节约存储空间。这种技术常用于各种图象的存储格式中,如bmp,tif,gif等。(图象表示用到调色板时,象素值是palette的地址)
HSI模型 基于人类对颜色的感觉,HSI模型描述颜色的三个基本特征(摘自Adobe Photoshop Help):
- 色相是从物体反射或透过物体传播的颜色。在 0 到 360 度的标准色轮上,色相是按位置度量的。在通常的使用中,色相是由颜色名称标识的,比如红、橙或绿色。
- 饱和度,有时也称彩度,是指颜色的强度或纯度。饱和度表示色相中灰成分所占的比例,用从 0%(灰色)到 100%(完全饱和)的百分比来度量。在标准色轮上,从中心向边缘饱和度是递增的。
- 亮度是颜色的相对明暗程度,通常用从 0%(黑)到 100%(白)的百分比来度量。
光度学概念(Photometrics) 辐射及光度学经常问到的问题(Radiometry and Photometry FAQ)
色彩(Color Information,Color Quantization,Palettes)(http://www.efg2.com/lab/library/color.htm)
表面反射(Shape Reflectance) 色彩与反射(Color and Reflectance)
有关色彩的经常问到的问题(Poynton's Color FAQ)
摄像机成象模型(几何)
凸透镜成象公式 ,物距u, 像距v, 焦距f
一种常用的简化模型,称为针孔模型(也称针眼模型或小孔模型),其推导如下:
这种简化了的摄象机模型,实际上是假设只有光心处有光通过,图象聚在像平面上:
可见成像的过程中,丢失了深度信息。
网上相关资料:
眼睛成像与摄象机成像(Image formation in the eye and the camera)http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/OWENS/LECT1/node2.html
成像几何(Imaging geometry) 3x4投影矩阵 眼睛与图象的成像几何
运动序列
摄像机或物体运动时,空间点P及其像点P皆是时间的函数
任一点在时空(Spatial-Temporal space)中划出一道轨迹,反映了相对运动和点的三维坐标。
沿X 轴匀速平移:设 t=0 时,P点坐标为(X,Y,Z)
关于 t 的微分:
因而,深度(depth),或称距离(range):
由此可见, 利用运动信息可以恢复出深度,这是 运动视觉的经典问题之一。
立体视觉(stereo vision)
如上图所示,设空间一点P(X,Y,Z)在两个平行放置的完全相同的摄象机中像点分别是(x1,y1).(x2,y2),则在知道基线长B和焦距f的情况下,可以计算出深度
这是双目立体视觉的基本原理,即根据视差来恢复立体信息。
成像几何和图象处理的关系
立体视觉:关键问题是对应点问题correspondence problem, 也就是寻找匹配的问题matching。
运动视觉:研究序列图象间的对应问题,主要问题是匹配。对于瞬时间的图象,即间隔时间很短图象序列,可以通过求解光流方程的方法寻找对应,其前提假设是极短时间内像点的灰度保持不变,只存在位置变化。
平面图象表示(光学特性)
图象上象素光的强度(Intensity)是位置(x,y),时间t和光的波长l的函数。
黑白图象(灰度图象)gray level image,grayscale image,
在时刻t,图象位置(x,y)上,象素值等于不同光波光强在其上的加权和,其中权值为相对视敏函数,表示传感元对光波入的敏感性,即由光子转为电子的能力。
彩色图象。(彩色:白光(全光谱)照射在不同反射特性物体上的反射光,三基色原理,只要测量R,G,B三种波长的反射光即可。
其中
图象输入输出(摄象机、扫描仪、多媒体视频卡、图象板、数字相机)
图象表示、转换(文件格式、几何变形、亮度及对比度调整、剪贴)
图象处理、分析(检测、测量、特征提取、图象压缩、几何校正)
图象理解、解释(模式识别,3D建模)
- 使用Photoshop软件,阅读相关帮助。
- 编制不同彩色图象格式的转换程序。
- 钟玉琢,多媒体技术(高级),清华大学出版社,pp.65-732, 1999.7
- 大田登(日)(刘中本译),色彩工学,西安交通大学出版社,1997.7
- Adobe Photoshop, Help-- Choosing a Color Model
//about color
http://www.insteam.com/LauraFunderburk/spectrum.htm
http://eleceng.ukc.ac.uk/~rls3/Frame1.htm
清华大学计算机系 艾海舟
最近修改时间:2000年1月10日
http://media.cs.tsinghua.edu.cn/~ahz/digitalimageprocess/chapter02/chapt02_ahz.htm