索尼：CMOS图像传感器3D堆叠架构的演进及未来趋势

放牛郎在摸鱼

已于 2022-07-12 15:31:58 修改

阅读量7.1k

点赞数 3

文章标签： 3d 人工智能计算机视觉图像处理

于 2022-06-16 14:57:34 首次发布

原文链接：https://www.eet-china.com/mp/a66100.html

版权

免责声明：该内容由专栏作者授权发布或转载自其他媒体，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。如若文章内容侵犯您的权益，请及时联系本站删除。
原文链接：https

文章目录

前言
一、高速图像传感器的技术演进
二、像素并行架构的实际应用
三、智能视觉传感器
总结

前言

随着智能手机的普及，拍照/摄像已经成为我们日常生活中不可或缺的一部分，而CMOS图像传感器（英文简称：CIS）作为一种固态成像器件，其特性和性能的持续改进，极大地促进了图像输入设备的发展。CMOS图像传感器的应用已经扩展到安防和网络摄像头、工厂自动化机器视觉、辅助驾驶和自动驾驶等领域。

索尼（Sony）从1996年开始开发CMOS图像传感器；2000年，索尼的第一款CMOS图像传感器“IMX001”商品化；2007年，搭载独创的列并行A/D转换电路的CMOS图像传感器商品化；2009年，感光度达到传统产品2倍的背照式（BSI）CMOS图像传感器商品化；2012年，凭借感光像素单元和信号处理单元的堆叠结构，实现高画质、多功能、小型化的堆叠式CMOS图像传感器商品化；2015年，索尼在全球范围内率先将Cu-Cu（铜-铜）连接应用于CMOS图像传感器，实现小型化、高性能和生产效率提升。一直以来，索尼通过不断的技术创新，始终引领CMOS图像传感器产业的发展。回望历史，推动CMOS图像传感器重大突破的技术创新主要源自背照式结构和3D堆叠式结构的发展及创新。

在这里插入图片描述
图1 前照式（FSI）CMOS图像传感器和背照式（BSI）CMOS图像传感器横截面对比图。背照式结构可避免金属走线、晶体管的影响，从而增加感光像素的进光量，同时也能抑制光入射角度变化导致感光度下降的问题。即使面对夜景等昏暗场所，也能拍摄流畅、高画质的影像。

背照式结构的这一突破，使得CMOS图像传感器在众多专业领域获得青睐，并加速了其对CCD图传感器的取代。此外，背照式结构还进一步推动了堆叠式CMOS图像传感器的发展。堆叠式CMOS图像传感器使用构建有逻辑电路的衬底替代了背照式CMOS图像传感器所需的支撑衬底（如图2所示），从而满足智能手机的小型化、多功能需求。第一款堆叠式CMOS图像传感器采用硅通孔（TSV）技术实现感光像素芯片与逻辑电路芯片的连接，但后来采用Cu-Cu连接代替了TSV，并实现了多点连接，如图3所示。
在这里插入图片描述
图2 背照式结构推动了堆叠式CMOS图像传感器，第一代堆叠式CMOS图像传感器使用TSV工艺将传感器芯片连接到逻辑芯片。

在这里插入图片描述
图3 利用Cu-Cu连接替代TSV，Cu-Cu连接是感光像素芯片与逻辑电路芯片通过在各堆叠面上构建的Cu焊盘直接连接的方式。这种连接方式无需穿透感光像素芯片，也不需要专门的连接区域，因此，可以实现CMOS图像传感器的进一步小型化和生产效率的提升。

索尼半导体解决方案负责CMOS图像传感器开发的高级副总经理Yusuke Oike博士，在最新发表的论文“Evolving Image Sensor Architecture through Stacking devices”中介绍了为满足图像传感器小型化和高功能化需求，而不断发展的3D堆叠技术和CMOS图像传感器架构，并展望了感光像素并行电路体系结构，以及CMOS图像传感器集成边缘人工智能（AI）技术的发展前景。

一、高速图像传感器的技术演进

1.列并行ADC架构

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
在这里插入图片描述
图4 列并行ADC转换技术

列并行ADC的采用显著改善了CMOS图像传感器的高速率性能。列并行ADC，即在每个感光像素的垂直列并列配置ADC。这样就能够以最短长度将垂直信号线上读取的模拟信号直接传输给各列的ADC，从而抑制模拟信号传输中混入的噪点导致的画质下降问题，同时，也能高速地读取信号。另外，凭借模拟、数字两个电路进行高精度降噪的双重降噪技术，也降低了噪点。
在这里插入图片描述
图5 传感器和逻辑处理优化之间的权衡。对于感光像素，3到4层金属互连就足够了，但是对于高度集成的ADC，需要近10层金属互连。CMOS图像传感器堆叠式结构的优势之一，就是它消除了工艺选择中的这种权衡，并可以对每种功能采用最佳工艺。

2.大画幅图像传感器的堆叠结构

利用堆叠式结构的列并行ADC结构，对于提高具有高像素计数和高分辨率图像传感器的视频性能非常有效，但最优的堆叠结构会因为图像传感器的规格而有所不同。特别是，图像传感器的芯片尺寸会根据光学尺寸而变化，范围从智能手机中使用的1/4英寸（3.6 mm x 2.7 mm）到单镜头相机的35 mm全画幅（36 mm x 24 mm），即便是消费类相机，最佳的堆叠工艺也可能有所不同。
在这里插入图片描述
图6 右图展示了Chip-on-Chip（CoC）堆叠工艺和Wafer-on-Wafer（WoW）堆叠工艺之间的对比。主流的堆叠结构，主要是智能手机应用的CMOS图像传感器，采用WoW工艺，具有生产效率高的优势，但传感器芯片的尺寸和逻辑芯片必须相同。另一方面，CoC堆叠结构中逻辑芯片的尺寸可以小于光学尺寸较大的图像传感器，此外，CoC堆叠结构既可用于前照式，也可用于背照式。左图展示了外围电路占位面积与光学尺寸的关系与最优堆叠工艺的选择。对于WoW工艺，当外围电路尺寸与像素芯片尺寸相同时，达到最佳的面积效率。另一方面，当外围电路尺寸与像素芯片尺寸相比足够小时，CoC工艺比WoW工艺更具成本优势。
在这里插入图片描述图7 展示了一款采用WoW工艺的35 mm全画幅堆叠式CMOS图像传感器

3.3层堆叠式结构

图8 随着堆叠技术的进一步发展，左图展示了一种3层堆叠式CMOS图像传感器，上层为背照式CMOS图像传感器，中层为DRAM，下层为逻辑外围电路。DRAM用作具有高传输带宽的帧存储器和图像数据的临时缓存器。如右图所示，每一层通过TSV连接，像素输出信号通过像素阵列外围区域中的两级TSV连接到逻辑电路。将数字转换后的图像数据从下层的逻辑电路传输到芯片中间层的DRAM芯片进行存储。对于智能手机中的视频录制，可以加速像素读出扫描，从而减少拍摄运动物体时的失真，并以高帧速率实现慢动作拍摄。
在这里插入图片描述

二、像素并行架构的实际应用

2000年左右，CCD图像传感器在成像质量方面仍然占主导地位，当时开始研究利用CMOS图像传感器集成CMOS电路的能力以获得更高的功能性。通过在每个像素上增加数字转换和功能电路，提出了显著的性能改进和增加的功能，但在当时，像素尺寸太大无法提高分辨率，并且由于感光面积的减小而降低了灵敏度。
在这里插入图片描述
图9 像素并行架构成为现实。CMOS图像传感器的堆叠结构已经从TSV连接演变为Cu-Cu连接，Cu-Cu连接的间距减小使得以接近像素大小的间隔进行连接成为可能。此前，从像素阵列逐行扫描的模拟信号，由布置在像素阵列下方的ADC转换为数字信号，现在，由于Cu-Cu连接的间距减小，使得直接连接像素区域下方逻辑芯片的像素并行电路架构成为可能。

1.像素并行ADC图像传感器

在这里插入图片描述

图10 左图展示了像素并行ADC图像传感器的配置。只有位于片上透镜和滤色片正下方的光电二极管以及电荷转移和电压转换所需要的晶体管集成在传感器芯片上，它们通过“Cu-Cu连接”连到布置在像素正下方逻辑芯片上的ADC。右图展示了一款146万像素并行ADC图像传感器示例。其中具有6.9 µm间距的所有像素通过两个“Cu-Cu连接”连到光电二极管正下方的逻辑芯片，并且所有像素由集成在6.9 µm x 6.9 µm区域上的ADC同时进行数字转换。由于所有像素可以同时被数字转换，因此获得全局快门的功能，其中所有像素的曝光周期相同。即使是高速移动的物体，相机也能捕捉到没有任何失真的瞬间，而传统的卷帘式快门会使物体成像失真。

2.光子计数图像传感器

光子计数图像传感器作为一种利用Cu-Cu连接堆叠的感光像素并行数字转换架构，已经引起了业界广泛关注。光子计数是一种数字转换技术，其分辨率为一个光电子单元，可以在不受读出噪声影响的情况下进行图像采集。
在这里插入图片描述
图11 左图展示了一款光子计数像素电路示例，通过数字计数器对脉冲计数，可以获得到达的光子数。右图展示了一款采用Cu-Cu连接的光子计数成像传感器配置，在SPAD像素阵列正下方为数字计数器。

图12 展示了光子计数高动态范围（HDR）成像的工作原理。左图：在传统标准CMOS图像传感器多曝光HDR中，HDR图像由长曝光组合而成，以在昏暗区域获得足够的信号，而在光亮区域采用短曝光以避免饱和。由于每次曝光的曝光周期不同，因此，当成像物体移动时，伪影不可避免。右图：光子计数图像传感器，则是立即并行进行数字转换，即便面对运动物体，HDR也不会出现伪影。

因此，尽管目前在高分辨率和功耗方面仍然存在很大的挑战，但基于SPAD的光子计数图像传感器有望成为终极数字成像架构。

3.测距传感器

另外一种利用SPAD特性的传感器，是测量辐射光传播时间的距离测量传感器。即通过检测光源发出的光被对象物体反射后到达传感器的光的飞行时间（Time of Flight），测定到对象物体距离的距离。凭借索尼的背照式技术，实现了传统图像传感器1.5倍的高精度距离成像。
在这里插入图片描述
图13 基于SPAD的直接飞行时间（dToF）距离测量原理

在这里插入图片描述
图14 Cu-Cu连接堆叠架构加持下的SPAD测距传感器结构趋势

2021年2月，索尼发布了业界首款采用SPAD像素的堆叠型dToF车载激光雷达（LiDAR）。将SPAD像素与测距处理电路以堆叠方式集成在一颗芯片上，从而能够高精度、高速地以15 cm的间隔测量最大300 m的距离。

3.基于事件的视觉传感器

基于事件的视觉传感器（EVS）是另一种像素并行数字转换架构，其中，堆叠式Cu-Cu连接是一项重要的突破。EVS是一种检测像素并行中光电流的差分值，并触发事件的传感器。当被摄场景中没有运动时，不发生事件触发，系统以低功耗模式运行，当被摄场景中出现运动时，仅发生变化的像素输出，并以极低的延迟实现快速响应。
在这里插入图片描述
图15 基于事件的像素电路配置图和光电流响应特性

图16 由于EVS需要复杂的像素电路，因此采用Cu-Cu连接的像素电路堆叠对于实现高分辨率至关重要，目前已经实现了小于5 µm的像素尺寸。上图下方展示了PROPHESEE基于事件的视觉传感器拍摄的夜间车辆行驶场景。

三、智能视觉传感器

在这里插入图片描述
图17 图像传感器结合人工智能（AI）赋能更多智能应用

随着人工智能（AI）技术的发展，人们对摄像系统的期望越来越高，希望它们可以超越人眼提供更丰富的信息，例如物体识别、行为识别和身份验证等应用。目前，业界正在尝试将作为边缘器件的图像传感器与先进人工智能信号处理相结合。
在这里插入图片描述
图18 云AI vs. 边缘AI

云AI可以提供高精度且稳定的服务，通过使用大数据提供强大的学习和计算能力。相比之下，终端上的边缘AI则在学习和计算能力方面受到限制。不过，终端上的边缘AI也有其优势，例如节省通信带宽，提供低延迟的响应，降低隐私风险，以及更低的成本。
在这里插入图片描述

图19 展示了智能视觉传感器概念，为图像传感器匹配了AI信号处理器，从而无需在图像传感器外部另外布置高性能处理器或存储器，使得利用边缘AI构建低功耗、低成本的智能视觉系统成为可能。

过去，图像数据由图像传感器输出，信号处理由主处理器和DRAM执行。但在智能图像传感器中，图像信号处理器（ISP）、卷积神经网络（CNN）加速器、存储器和主处理器直接堆叠在图像传感器下方。

在这里插入图片描述
图20 集成AI信号处理器的1200万像素智能视觉传感器，支持多种格式输出，包括不输出图像信息而输出识别结果的元数据（属于成像数据的语义信息），可以显著降低系统数据量。此外，它还无需原始图像输出，从而降低了隐私风险。

总结

本文介绍了CMOS图像传感器3D堆叠技术和架构的演进及最新趋势。CMOS图像传感器的堆叠结构使得可以针对像素单元和电路单元分别构建芯片并进行技术优化，因此像素单元可针对高画质优化，电路单元可针对高性能优化。列并行ADC的引入有助于CMOS图像传感器性能的提高，特别是高分辨率下的帧率。此外，随着Cu-Cu连接间距减小的进展，最近的研究和开发提出了集成像素并行数字转换架构和AI信号处理器的CMOS图像传感器，并且它们将继续向更广泛的实际应用领域发展。
在这里插入图片描述
图21 CMOS图像传感器3D堆叠技术和架构的演进及未来趋势。为了更优化、更高效地集成光电二极管、像素电路、ADC、数字处理器和存储器等功能模块，需要能够进一步实现多层化、区块化的多层堆叠技术。