Image Processing for Embedded Devices <8>

2.4 像元尺寸减小

 

2.20 CMOS图像传感器的发展:ITRS曲线:CMOS尺寸效应蓝图。工艺节点曲线:构造CMOS图像传感器的工艺尺寸。像素尺寸曲线:CMOS图像传感器的像素间距

 

40年前,Intel联合创始人,Gordon Moore,预测处理器的处理速度没18个月会翻一番。虽然这一说法在计算机科学家间广泛争论,但已经被证明是正确的,因此被命名为“Moore’s Law”。随着技术的发展,成本显著下降。对于数码相机,数数每美元有多少像素可作为价值的基本衡量,每美元可以买到的像素个数在新出品相机上持续稳定增长,这和摩尔定律保持一致。1998年澳大利亚PMA DIMA大会上Barry Hendy第一次提出相机价格的预测,称作“Hendy’s Law”。图2.20为IEDM和ISSCC公布的CMOS 图像传感器发展数据概述。最下面那条曲线说明这几年的CMOS尺寸效应,通过ITRS蓝图表示。第二条曲线构造所述CMOS图像传感器的工艺节点,第三掉曲线展示同一器件的像素尺寸。详述如下:

l  CMOS图像传感器的工业节点落后与ITRS的工业节点,理由非常简单:先进的CMOS工序,用于构造数字电路,往往对图像处理不友好(严重泄电问题,低光照灵敏度,噪声性能,等);

l  CMOS图像传感器技术程度基本和标准数字CMOS工序保持同步;

l  像素尺寸随着所用工艺节点升级。

 

CMOS随着成本降低性能提升,逐渐代替CCD。CMOS器件不断提升的原因如下:通过增加像素数量提升客户所需价值;降低成本;通过创新存活;通过使其产品过时打压竞争对手;提高图像空间分辨率。

 

2.21 前照式(FSI)和背照式(BSI)像素工艺对比

 

目前CMOS图像传感器技艺为前照式下像元尺寸1.75um x 1.75um和背照式下1.4um x 1.4um。图2.21展示了这两种工艺的不同之处。最近Sony公布了一款新的CMOS sensor的原型机,10,000,000像素量0.9um像素间距。

         像元尺寸减少会增加串扰问题。串扰的产生是因为数码相机里光线颜色的分离而实际感应发生在sensor中不同点且每个点间有明显的距离。在CMOS sensor中,入射光子通过颜色过滤器,然后通过支撑金属交互层的玻璃层,接着进入硅层并被吸收,活跃电子进入光电二极管被吸收作为信号。这一路上,光子和电子都有很多机会更改路线进入到错误的光电二极管,造成错误的颜色信号。市场驱动着手机相机的像元尺寸下降,光学串扰问题越发严重,因为像素间距的减小区分不同颜色光需要在一个更小的级别上。CMOS图像传感器光电二极管一般占像素硅表面20~40%面积,因为需要容纳像素晶体管。

         除了微透镜,还有其他因素造成串扰。例如,串扰产生(灵敏度下降)可能因为在交互玻璃内的光路在吸收反射金属线和孔附近因衍射和散射而弯曲。传统像元设计将线尽可能远置于像元外围光电二极管外以最小化其光学影响。然而,增加线的宽度可以帮助减少串扰,在光电二极管周围创建一个屏蔽效果,使来自正确颜色过滤器的光通过但是屏蔽来自邻近过滤器的光。若使用这种金属屏蔽设计,应当平衡串扰降低和不可避免的灵敏度降低。

         最新的CMOS sensor像素间距为1.75um,设计有2/3金属交互层(老款3.5到6.0um像元sensor中有3到5层),长宽比约为2。这些特征导致了可接受的最终图像颜色质量。像元尺寸会进一步减小,甚至更小的像元。像元尺寸的减小同时保证图像颜色质量不下降越发困难,因为光子要进入更小的光电二极管,甚至分布地比波长还有近。

         如今图像传感器中一个1.75um的像元在100lux光照下可以获取30到100个光电信号电子。如果电荷转移不完全,遗留刚刚30电子在光电二极管内,就会出现主图像滞后。甚至,这遗留的30电子往往是噪声并且像素内变化。

         计量1.75um,FSI像素大于BSI像素。因此,所需某些相机元件,尤其是镜头长度,需要更大。在争夺更少空间的比赛中,每个微米毫米都是宝贵的。OmniBSI架构采用FSI结构并且翻转其层布局,将金属层和绝缘层置于sensor排列底部(图2.21)。与穿过金属层不同的是,光子不受干扰直接打在硅层。这个方法首先优点在于光进入sensor到达探测器的路径最短,仅通过颜色过滤器。没有金属层和晶体管阻挡或反射光子。因为光子直接打击硅层,sensor填充因子明显提升,显著增强低亮灵敏度。因为这种布局最优化光子吸收,最显著的是它创建了一个1.4um BSI像素,OmniVision声称其性能超过所有1.4um FSI像素和大部分1.75um FSI像素。

         BSI技术已经存在一段时间了。但是因为其成本原因,主要应用于军事和航空领域。尽管背照式概念已经被研究超过20年,到现在也没人能成功将其商用,大容量CMOS sensor制造。Tessera估计,即使考虑到经济规模(每片晶片更多地模具),同分辨率下大量生产的背照式模具价格会是前照式模具的2到4倍。然而,总体性能预计会提升5倍。

转载于:https://www.cnblogs.com/yhszjm/p/11438201.html

Preface xi Acknowledgements xvii 1 Image Processing 1 1.1 Basic Definitions 2 1.2 Image Formation 3 1.3 Image Processing Operations 7 1.4 Example Application 9 1.5 Real-Time Image Processing 11 1.6 Embedded Image Processing 12 1.7 Serial Processing 12 1.8 Parallelism 14 1.9 Hardware Image Processing Systems 18 2 Field Programmable Gate Arrays 21 2.1 Programmable Logic 21 2.1.1 FPGAs vs. ASICs 24 2.2 FPGAs and Image Processing 25 2.3 Inside an FPGA 26 2.3.1 Logic 27 2.3.2 Interconnect 28 2.3.3 Input and Output 29 2.3.4 Clocking 30 2.3.5 Configuration 31 2.3.6 Power Consumption 32 2.4 FPGA Families and Features 33 2.4.1 Xilinx 33 2.4.2 Altera 38 2.4.3 Lattice Semiconductor 44 2.4.4 Achronix 46 2.4.5 SiliconBlue 47 2.4.6 Tabula 47 2.4.7 Actel 48 2.4.8 Atmel 49 2.4.9 QuickLogic 50 2.4.10 MathStar 50 2.4.11 Cypress 51 2.5 Choosing an FPGA or Development Board 51 3 Languages 53 3.1 Hardware Description Languages 56 3.2 Software-Based Languages 61 3.2.1 Structural Approaches 63 3.2.2 Augmented Languages 64 3.2.3 Native Compilation Techniques 69 3.3 Visual Languages 72 3.3.1 Behavioural 73 3.3.2 Dataflow 73 3.3.3 Hybrid 74 3.4 Summary 77 4 Design Process 79 4.1 Problem Specification 79 4.2 Algorithm Development 81 4.2.1 Algorithm Development Process 82 4.2.2 Algorithm Structure 83 4.2.3 FPGA Development Issues 86 4.3 Architecture Selection 86 4.3.1 System Level Architecture 87 4.3.2 Computational Architecture 89 4.3.3 Partitioning between Hardware and Software 93 4.4 System Implementation 96 4.4.1 Mapping to FPGA Resources 97 4.4.2 Algorithm Mapping Issues 100 4.4.3 Design Flow 101 4.5 Designing for Tuning and Debugging 102 4.5.1 Algorithm Tuning 102 4.5.2 System Debugging 104 5 Mapping Techniques 107 5.1 Timing Constraints 107 5.1.1 Low Level Pipelining 107 5.1.2 Process Synchronisation 110 5.1.3 Multiple Clock Domains 111 5.2 Memory Bandwidth Constraints 113 5.2.1 Memory Architectures 113 5.2.2 Caching 116 5.2.3 Row Buffering 117 5.2.4 Other Memory Structures 118 vi Contents 5.3 Resource Constraints 122 5.3.1 Resource Multiplexing 122 5.3.2 Resource Controllers 125 5.3.3 Reconfigurability 130 5.4 Computational Techniques 132 5.4.1 Number Systems 132 5.4.2 Lookup Tables 138 5.4.3 CORDIC 142 5.4.4 Approximations 150 5.4.5 Other Techniques 152 5.5 Summary 154 6 Point Operations 155 6.1 Point Operations on a Single Image 155 6.1.1 Contrast and Brightness Adjustment 155 6.1.2 Global Thresholding and Contouring 159 6.1.3 Lookup Table Implementation 162 6.2 Point Operations on Multiple Images 163 6.2.1 Image Averaging 164 6.2.2 Image Subtraction 166 6.2.3 Image Comparison 170 6.2.4 Intensity Scaling 171 6.2.5 Masking 173 6.3 Colour Image Processing 175 6.3.1 False Colouring 175 6.3.2 Colour Space Conversion 176 6.3.3 Colour Thresholding 192 6.3.4 Colour Correction 193 6.3.5 Colour Enhancement 197 6.4 Summary 197 7 Histogram Operations 199 7.1 Greyscale Histogram 199 7.1.1 Data Gathering 201 7.1.2 Histogram Equalisation 206 7.1.3 Automatic Exposure 210 7.1.4 Threshold Selection 211 7.1.5 Histogram Similarity 219 7.2 Multidimensional Histograms 219 7.2.1 Triangular Arrays 220 7.2.2 Multidimensional Statistics 222 7.2.3 Colour Segmentation 226 7.2.4 Colour Indexing 229 7.2.5 Texture Analysis 231 Contents vii 8 Local Filters 233 8.1 Caching 233 8.2 Linear Filters 239 8.2.1 Noise Smoothing 239 8.2.2 Edge Detection 241 8.2.3 Edge Enhancement 243 8.2.4 Linear Filter Techniques 243 8.3 Nonlinear Filters 248 8.3.1 Edge Orientation 250 8.3.2 Non-maximal Suppression 251 8.3.3 Zero-Crossing Detection 252 8.4 Rank Filters 252 8.4.1 Rank Filter Sorting Networks 255 8.4.2 Adaptive Histogram Equalisation 260 8.5 Colour Filters 261 8.6 Morphological Filters 264 8.6.1 Binary Morphology 264 8.6.2 Greyscale Morphology 269 8.6.3 Colour Morphology 270 8.7 Adaptive Thresholding 271 8.7.1 Error Diffusion 271 8.8 Summary 273 9 Geometric Transformations 275 9.1 Forward Mapping 276 9.1.1 Separable Mapping 277 9.2 Reverse Mapping 282 9.3 Interpolation 285 9.3.1 Bilinear Interpolation 286 9.3.2 Bicubic Interpolation 288 9.3.3 Splines 290 9.3.4 Interpolating Compressed Data 292 9.4 Mapping Optimisations 292 9.5 Image Registration 294 9.5.1 Feature-Based Methods 295 9.5.2 Area-Based Methods 299 9.5.3 Applications 305 10 Linear Transforms 309 10.1 Fourier Transform 310 10.1.1 Fast Fourier Transform 311 10.1.2 Filtering 318 10.1.3 Inverse Filtering 320 10.1.4 Interpolation 321 10.1.5 Registration 322 viii Contents 10.1.6 Feature Extraction 323 10.1.7 Goertzel’s Algorithm 324 10.2 Discrete Cosine Transform 325 10.3 Wavelet Transform 328 10.3.1 Filter Implementations 330 10.3.2 Applications of the Wavelet Transform 335 10.4 Image and Video Coding 336 11 Blob Detection and Labelling 343 11.1 Bounding Box 343 11.2 Run-Length Coding 346 11.3 Chain Coding 347 11.3.1 Sequential Implementation 347 11.3.2 Single Pass Algorithms 348 11.3.3 Feature Extraction 350 11.4 Connected Component Labelling 352 11.4.1 Random Access Algorithms 353 11.4.2 Multiple-Pass Algorithms 353 11.4.3 Two-Pass Algorithms 354 11.4.4 Single-Pass Algorithms 356 11.4.5 Multiple Input Labels 358 11.4.6 Further Optimisations 358 11.5 Distance Transform 359 11.5.1 Morphological Approaches 360 11.5.2 Chamfer Distance 360 11.5.3 Separable Transform 362 11.5.4 Applications 365 11.5.5 Geodesic Distance Transform 365 11.6 Watershed Transform 366 11.6.1 Flow Algorithms 366 11.6.2 Immersion Algorithms 367 11.6.3 Applications 369 11.7 Hough Transform 370 11.7.1 Line Hough Transform 371 11.7.2 Circle Hough Transform 373 11.7.3 Generalised Hough Transform 374 11.8 Summary 375 12 Interfacing 377 12.1 Camera Input 378 12.1.1 Camera Interface Standards 378 12.1.2 Deinterlacing 383 12.1.3 Global and Rolling Shutter Correction 384 12.1.4 Bayer Pattern Processing 384 Contents ix 12.2 Display Output 387 12.2.1 Display Driver 387 12.2.2 Display Content 390 12.3 Serial Communication 393 12.3.1 PS2 Interface 393 12.3.2 I2C 395 12.3.3 SPI 397 12.3.4 RS-232 397 12.3.5 USB 398 12.3.6 Ethernet 398 12.3.7 PCI Express 399 12.4 Memory 400 12.4.1 Static RAM 400 12.4.2 Dynamic RAM 401 12.4.3 Flash Memory 402 12.5 Summary 402 13 Testing, Tuning and Debugging 405 13.1 Design 405 13.1.1 Random Noise Sources 406 13.2 Implementation 409 13.2.1 Common Implementation Bugs 410 13.3 Tuning 412 13.4 Timing Closure 412 14 Example Applications 415 14.1 Coloured Region Tracking 415 14.2 Lens Distortion Correction 418 14.2.1 Characterising the Distortion 419 14.2.2 Correcting the Distortion 421 14.3 Foveal Sensor 424 14.3.1 Foveal Mapping 425 14.3.2 Using the Sensor 429 14.4 Range Imaging 429 14.4.1 Extending the Unambiguous Range 431 14.5 Real-Time Produce Grading 433 14.5.1 Software Algorithm 434 14.5.2 Hardware Implementation 436 14.6 Summary 439 References 441 Index 475 x Content
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值