车规级ISP赛道“热火朝天”

ADAS及自动驾驶的视觉感知正在进入纵深战阶段，这其中，高像素摄像头（比如，800万像素）已经成为趋势，而关乎图像处理质量的ISP（图像信号处理器），则是另一个市场洼地。

随着计算机视觉技术的不断演进，图像质量对相机识别、定位和重建等任务的影响已经成为新的感知能力门槛，这其中，ISP参数配置是控制计算机视觉图像质量的关键因素。

按照目前ISP领域的发展趋势，支持多摄像头（降低成本）、实现感知目标检测能力的提升（图像质量），包括纠正广角镜头的物理畸变图像等等，已经成为市场刚需。

就在本周，OPPO手机宣布推出马里亚纳MariSilicon X，一颗6nm NPU芯片，同时在ISP处理上同时集成RGGB和White两路图像处理pipeline，从而进一步提升整体的拍照体验以及成像画质。

这其中，不得不提及MariLumi IP，画面动态范围达到了20bit 120db，达到20bit Ultra HDR超级动态范围。而自研ISP，一直是过去几年手机行业头部公司期望打破通用IP的制约，从而在影像级别实现差异化体验。

一、

按照OPPO的官方介绍，两路的RAW Pipeline，其中一路处理RGGB，另外一路则专门负责处理白光通道。通过两路并行处理，使得成像信噪比提升了8.6dB。同时，针对纹理细节处理，Pipeline则通过超采样方式，提升了70%的解析力。

在这方面下功夫，是因为手机受制于外形、尺寸等限制，传感器不能无限增大，如果继续提升影像品质的话，通过提升计算影像的算力和图像处理能力是必经之路。

考虑到手机头部厂商陆续在进入造车领域，也不排除未来很多手机上的领先软硬件技术会快速拷贝复制到汽车行业。而在汽车行业，有很多相似之处。

目前，摄像头是ADAS/自动驾驶汽车的主要传感器，并且单车搭载数量急剧增加。典型的应用包括环绕视图和前向、侧向以及舱内感知应用，涉及目标检测、交通灯和标志识别等应用。

一直以来，为了实现“更好”的图像质量(IQ)，摄像头的ISP参数必须由经验丰富的ISP/IQ工程师根据每个特定的镜头和传感器配置进行调整，这往往需要数月时间，也是视觉感知的门槛之一。

此外，研究表明，对于不同的CV（计算机视觉）感知算法，相机的ISP必须根据其结构、任务、语义、训练和偏差进行专门的优化。这也产生了数家提供ISP调优的供应商，包括自动化的调优工具。

比如，Algolux是全球主要的可扩展感知解决方案的供应商，该公司在今年宣布其下一代Atlas摄像机优化套件现在已在云端启用，并支持一组扩展的摄像机图像信号处理器，包括Arm®Mali™-C71AE和Mali-C52 ISP。

这套自动化工具可以大幅改进过去长达数月的手动ISP调优过程，在短短几天内可以实现计算机视觉精度和图像质量的最大化，在可扩展性和资源利用率方面提高了100倍。同时，允许快速评估不同的相机传感器和镜头，以降低成本，提升最佳性能。

对于开发计算机视觉感知算法的团队，Atlas可以快速确定最佳Arm Mali ISP参数集，以实现最高的视觉精度，这是目前手动ISP调优方法所不可能实现的。

而在ISP芯片端，不少公司也在加码车规级芯片的研发和创新。比如，在SoC端或者摄像头CMOS端集成高性能ISP。

比如，黑芝麻智能自研的核心IP——车规级图像处理器NeuralIQ ISP以及DynamAI NN车规级低功耗神经网络加速引擎，前者可支持多达12路高清相机接入，单芯片每秒可处理15亿像素图像，可以支持多路摄像头并行实时地处理。

这满足了ISP的配置趋势之一，就是基于“卫星电子架构”原理，摄像头仅保留光学部分和CMOS芯片，将图像处理芯片转移至域控制器，通过LVDS总线以及以太网来进行数据的传输。

同时，ISP被集成到视觉处理器（SoC）中，意味着可以同时处理多个摄像头数据，实现成本下降。以英伟达Orin为例，内置ISP每秒可处理64亿像素；而特斯拉第一代FSD芯片，ISP每秒仅能处理10亿像素。

另一家公司思特威科技，也在今年推出面向车规级的片上ISP二合一图像传感器SC120AT，以及车规级Raw Sensor SC100AT，减小车载SoC中心运算负荷的同时加快处理速度，强化汽车图像处理效能。

这家公司的创新思路是，内置ISP的二合一车规级CMOS图像传感器具有延时低、扩展兼容性高及可配置能力强等特点，正逐渐成为车载智能视觉系统前端图像处理方案的优选之一。

而今年三星电子发布的车规级ISOCELL Auto 4AC图像传感器，同样内嵌入了一个图像信号处理器，并集成了独特的角像素™解决方案，用于高阶的HDR和LFM功能。目前，披露的首款量产车型将是特斯拉的电动皮卡。

而此前，小米手机也发布首款ISP芯片澎湃C1，可独立设置于主板，专用于手机影像处理。考虑到小米造车已经进入关键阶段，不排除后续在摄像头部分会采用自主研发的车规级ISP。

二、

看中ISP市场的，还有SoC巨头以及传统芯片IP供应商。从这一点上来说，GEO、德州仪器、索尼、安森美、豪威科技、富瀚微电子等传统独立ISP供应商也在受到挤压。

高通公司在六年前发布了自研的Spectra ISP，基于双ISP，首发搭载于820系列SoC。随后，高通又在骁龙888移动平台推出了Spectra 580 ISP，提供三重并发和三重并行处理功能的，在手机端实现支持拍摄4K 120fps视频、拍摄不限时高清慢动作视频等。

而在后续推出的高通骁龙汽车数字座舱平台、骁龙Ride智能驾驶平台也都搭载了自家的Spectra ISP。而对标的英伟达Orin，同样也搭载了第三方的Arm Mali-C71AE ISP。

在Arm公司看来，传统独立ISP的劣势在于，即便是下游客户拿到同样一款ISP，如果没有在成像管道上投入多年研发，几乎无法真正发挥全部能力。“这也是为什么很多手机头部厂商会选择自研ISP。”

相比较而言，Arm的模式，是将ISP与CPU、GPU等IP核采用同样的设计理念，客户可以直接将ISP集成到SoC设计中，同时与Arm的CPU、GPU进行高效集成，从而最大程度发挥ISP功效。

ARM进军ISP市场的计划，始于2016年收购的一家成像技术开发商Apical。彼时，ISP市场尽管仍处于不断增长的阶段，但也是一个竞争激烈的红海市场。不过，Arm从切入开始，就选择了高端车载应用领域，服务于高级驾驶员辅助系统市场，对可靠性和安全要求更高。

此外，ARM还看到了ISP IP背后的软件市场机会。该公司还推出了一个完整的参考软件设计套件，客户可以根据他们的特定需求调整系统，并且符合相应的ASIL等级要求。

最关键的是，SoC集成ISP性能的不断增强，尤其是支持多个摄像头（高像素）输入，这意味着无需再为每个摄像头传感器提供ISP，从而大幅降低感知硬件的成本。同时，单一ISP可以用于管理不同的传感器和帧速率，适用于功能的不同场景。

而在摄像头端，由于高像素带来的散热问题，模组内置ISP将进一步恶化问题。更关键的是，随着车载摄像头安装数量的增加，由于电池可供给电量和安装摄像头的空间有限，车载摄像头如何进一步缩小电路板尺寸和降低功耗的需求日益高涨。

比如，TI的TDA4系列就搭载了TI的第7代ISP，支持更高的位深度，并且具有面向分析应用的功能。集成的诊断和安全功能支持高达ASIL-D级别，提供了PCIe集线器和千兆位以太网交换机以及CSI-2端口，支持多传感器输入的吞吐量。

此外，FPD-Link III解决方案可以满足“卫星”传感器到中央融合处理单元的低成本、可扩展要求，一个ISP为多个摄像头实现更好的光度校准，并确保颜色增益和噪声过滤器运行在同一时间，使多个摄像头的视图拼接更自然。

如今，在中国市场，车规级ISP也正在成为新一轮“造芯”运动的焦点之一。从2018年富瀚微电子推出国内本土首款百万像素以上车规级ISP芯片开始，包括思特威、北京君正、阿里达摩院等多家本土芯片公司陆续发布或正在研发ISP芯片。