重磅分享VisionChina 2020主题演讲：3D视觉中ISP技术的应用与未来

3D感知与智能

于 2020-09-25 17:35:41 发布

阅读量1.4k

点赞数 1

分类专栏：大咖说3D 文章标签：人工智能 3d 计算机视觉

本文链接：https://blog.csdn.net/smarttof/article/details/108801186

版权

葛昊博士在VisionChina 2020研讨会上分享了3D视觉中ISP技术的应用与未来。2D ISP已成熟，但3D ISP因3D成像的主动成像方式而更为复杂，需要处理更多参数和数据。3D ISP的三大需求是成像质量、数据处理量和成本功耗。随着3D成像市场增长，3D ISP将与发射端、接收端共同成为3D成像系统的关键。演讲还探讨了多路径干扰问题和ISP的机器学习趋势，数迹智能作为3D视觉ISP技术提供商，将持续贡献技术解决方案。

摘要由CSDN通过智能技术生成

7月5号，中国机器视觉技术展览会VisionChina-2020落下帷幕。展会同期举办了中国（上海）国际机器视觉技术及工业应用研讨会，在研讨会上上海数迹智能科技有限公司的首席产品官葛昊博士带来了题为《3D视觉中ISP技术的应用与未来》的分享，下面我们就来一起来看一看研讨会上葛博士有哪些精彩发言吧。

演讲人：葛昊

— 2D ISP简介 —

1975年，柯达发布了全球第一款数码相机，它拥有100*100像素分辨率的CCD传感器，开启了数字成像时代。如今，45年过去了，数字成像经历了从CCD工艺到CMOS工艺，从单反、到傻瓜相机、到卡片相机、到智能手机的演变。为了实现拍照的智能化和自动化，并且使得成像效果尽可能接近我们人眼所观察到的世界，目前每个图像传感器都至少配备一个ISP用以处理数字信号、改善拍照的质量。尤其是近些年，成像能力已经成为智能手机上主要的技术创新方向，从单摄，到双摄，到六摄，从2D镜头到ToF镜头，传感器种类、数量的升级，对ISP提出了新的、更高的要求。

其实在2D成像中，ISP并不是什么新鲜的概念，已经是一个相对比较成熟的技术，我们日常所使用的手机、智能摄像头、行车记录仪等等，都内含ISP用于数字信号的处理和图像质量的提升。在2D成像系统中，图像传感器负责完成从光信号到电信号，从模拟信号到数字信号的转化。而ISP则主要负责数字信号域上的一系列处理。一个典型的ISP功能流程如图所示，可以看到ISP的主要包括五大功能。①拜尔插值：用以将传感器原始数据还原成RGB数据。②降噪滤波，包含原始数据域、RGB域和YUV域上面的滤波算法。③3A控制，即自动对焦自动曝光、自动白平衡。④图像校正，镜头校正、失效像素、黑电平等系统误差的矫正，以及⑤数据压缩和传输等部分。

随着2D成像产业的不断发展完善和产业细分，2D ISP市场逐渐形成了以设计授权为主导的IP模式，和以售卖独立芯片为主的芯片模式。每种模式都孕育了大量的世界著名公司，当然IP模式的存在使得芯片模式公司选择性更多、更加繁荣。目前2D ISP的存在物理形式有三种，集成进前端图像传感器、独立芯片或者集成于后端应用SoC中，由于成本和系统灵活性的原因，目前主要还是以独立芯片和集成进SoC两种方式为主。