内窥镜+AI 基于RK3588的SMARC核心模块ROM-6881人工智能诊断

内窥镜作为医生的“第二只眼”，被广泛应用于不同科室和不同疾病治疗，在医疗行业应用中起着举足轻重的作用。医用内窥镜在诊疗过程中提供照明、摄像和通道等功能，其临床应用可分为诊断和治疗两方面。在设备智能化的今天，越来越多的医疗器械厂商为医疗内窥镜设备导入了AI辅助诊断，帮助医生大幅提高了诊断效率和准确率。

医疗内窥镜应用

内窥镜应用需求

随着AI为内窥镜领域不断注入新活力，国内某大型医疗设备厂商致力研发一款AI协助诊断的医疗内窥镜。为满足医疗影像中对高清显示和低延迟显示的需求，其设备主控板需要支持安卓环境下高清1200万像素的2路MIPI-CSI同时输入，且需具备独立的ISP处理图像，支持高清显示和多屏显示功能。此外，由于客户自身硬件实力的欠缺，希望供应商可提供个性化的底板设计服务协助开发。

在内窥镜应用上部署AI功能，对该医疗设备厂商也提出了技术上的挑战。该客户除了需要主控板具备AI加速能力外，在调用AI NPU方面，因客户对RK平台的NPU不熟悉，还需要供应商协助支持提供RK平台的NPU的开发工具相关资料和技术服务。 

面临的挑战

• 实时高清摄像头处理能力
• 安卓环境下双路MIPI-CSI摄像头输入
• AI算法及算力支持
• 多屏高清显示
• Arm平台NPU的使用
• 医疗长生命周期供货

解决方案

ROM-6881 SMARC 2.1核心模块方案SGeT组织所推出的SMARC 2.1核心板标准 ，核心板整板尺寸选用的是Full Size，长宽尺寸为82*80mm，通过金手指连接器与底板相连，方便完成安装。此外，SMARC 核心板PIN脚定义相同，方便后续做升级替换。

ROM-6881基于全新RK3588高性能Arm平台，支持4*Arm Cortex-A76 & 4*Arm Cortex-A55主频1.8GHz，内置NPU （神经网络处理器）提供6TOPS的AI算力，在图像编解码和图像处理方面表现出色，满足内窥镜轻量级AI应用算力需求。并且ROM-6881支持四屏独立显示，最高支持8K 分辨率显示。在影像方面，支持4路MIPI-CSI，最高支持1200万像素高清摄像头，提供独立的ISP，更高效的处理图像内容，降低延迟。

除此之外，ROM-6881采用严苛的工业设计，拥有丰富的I/O扩展资源，满足医疗应用的外设需求，产品支持-40~85℃宽温工作环境，提供10年以上的供货生命周期，满足医疗设备长期供货的需求。

研华ROM-6881 医疗内窥镜应用场景

技术支持

项目的顺利开发离不开从产品开发到项目落地一系列的技术支持，在该项目中及时帮助客户解决了安卓环境下无法独立开发出双MIPI-CSI的难题。双MIPI-CSI 同时输入功能未配置在既有的安卓环境，在提出此项需求后，技术团队及时响应，定制了此项功能需求，加快了项目应用落地。

在AI方面，帮助厂商快速熟悉了RK平台的NPU开发工具RKNN，快速部署已训练好的模型，实现AI应用落地。在底板设计方面，提供了详细的底板开发资料，包括核心板PIN OUT，Layout Checking List，Design Guide等文件，供客户参考以便快速设计。在厂商完成底板设计后，研华还提供了底板线路图review服务，帮助客户检测底板设计的错误，避免客户出现底板设计问题。

ROM-6881特性

基于瑞芯微 RK3588 八核 4 x Cortex-A76@2.4GHz，4 x Cortex-A55@1.8GHz

• 搭载6TOPS AI算力 NPU
• 板载4/8GB LPDDR4 内存和 32/64GB 存储
• 支持8K@60fps H.265/VP9 视频解码和 8K@30fps H.265/H.264 视频编码
• 支持 HDMI, DP, 双通道 LVDS/DSI 四路独显解决方案
• 支持4路MIPI-CSI摄像头同时输入
• 支持4 x PCIE3.0, Dual Gigabit LAN, 2 x USB3.0, SATA3.0, 2 x CAN, 3 x MIPI-CSI, UART
• 支持Linux and Android