面向智能图像传感系统的感内计算技术发展趋势分析

目录

0 引言

1 智能图像传感系统

2 感内计算技术

图1

3 感内计算技术发展趋势

3.1 图像处理流水线架构的优化改进

3.2 面向深度学习的定制优化设计

图2

3.3 生物视觉启发的新型图像传感器

图3

4 挑战与展望

5 结束语

---

摘要

物联网大数据时代,图像传感系统的端侧智能应用大规模部署,催生了传感器向智能化、高集成度和低功耗的趋势发展。感内计算技术利用像素层级的感算、感存算一体化功能,实现了二维空间感知信息的高精度、高并行模数混合运算。感内计算技术结合近感计算和感外计算技术的研究成果,将为面向端侧智能应用的新型图像传感系统提供一系列低成本、多元化解决方案。

关键词： 物联网; 图像传感系统; 感内计算技术

0 引言

随着物联网和大数据时代的到来,图像传感系统面临端侧智能应用大规模部署以及多元化场景应用等需求,推动着传感器向智能化、高集成度、低功耗方向发展。感内计算技术作为一种新型计算范式,涵盖感、算融合和感、存、算融合的研究范畴,旨在通过传感器像素基本单元的设计和像素级运算功能的定义,在二维空间实现高精度、高并行的模数混合运算。同时,结合近感计算和感外计算技术的研究成果,构建一种面向端侧智能传感应用的先进图像传感系统解决方案。

根据实际应用和场景需求,本文通过探究图像处理流水线改进优化、深度学习定制化系统设计以及生物视觉系统启发等当前研究热点,重点阐述和分析了感内计算技术的多元化发展趋势。此外,将围绕感内计算技术在智能图像传感系统中的应用,针对其研究现状、发展趋势和面临的挑战展开讨论。

1 智能图像传感系统

自1839年达盖尔发明第一台银版照相机以来,图像和视频逐渐成为人类记录信息和传递知识的重要媒介。现代数字图像传感系统起源于20世纪60年代的电荷耦合器件(Charge Coupled Device,CCD)技术。该技术利用PN结光电效应和电荷耦合技术,通过光学信息捕捉、电荷迁移、信号读取和模数信号转换的信息处理流程,获取现实世界中的光学信息并记录保存为数字格式。20世纪90年代后期,半导体工艺技术和集成电路得到迅速发展,互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)图像传感器技术应运而生,由于其具有高集成度、低功耗、制造工艺简单和功能兼容性强等优势,已逐步成为图像传感器的主流技术之一[1],并推动数字图像传感系统成为现代电子产品中不可或缺的核心部分。数字图像传感系统架构由光学模块、图像传感器模块、信号处理模块和控制模块组成,其核心评价指标是成像质量,主要包含分辨率、信噪比、动态范围、帧率、快门和色彩还原度等方面。

伴随现代工业技术的进步,数字图像传感系统不断追求更高的成像质量和更强的感知能力,8K分辨率、140 dB动态范围、1 000 fps帧率等实际需求被相继提出。与此同时,随着细分市场需求的增加,数字图像传感系统也呈现出多元化发展趋势,专业摄影、视频安防、自动驾驶、移动电子、工业相机、医疗影像等细分领域逐步形成,结构光传感、红外传感、事件触发等功能需求也由此衍生[2]。为满足不同领域的应用需求,工业界先后实现了诸如列并行模数转化电路、背照式曝光、深槽隔离、3D堆叠结构和Cu-Cu互联等关键技术。同时,全局曝光、自动对焦、四拜尔编码、专用高速接口等设计方案也被相继提出并应用。此外,前沿研究先后将InAs/GaSb超晶格、量子点、二维材料等新型感