内窥镜作为医生的“第二只眼”,被广泛应用于不同科室和不同疾病治疗,在医疗行业应用中起着举足轻重的作用。医用内窥镜在诊疗过程中提供照明、摄像和通道等功能,其临床应用可分为诊断和治疗两方面。在设备智能化的今天,越来越多的医疗器械厂商为医疗内窥镜设备导入了AI辅助诊断,帮助医生大幅提高了诊断效率和准确率。
医疗内窥镜应用
内窥镜应用需求
随着AI为内窥镜领域不断注入新活力,国内某大型医疗设备厂商致力研发一款AI协助诊断的医疗内窥镜。为满足医疗影像中对高清显示和低延迟显示的需求,其设备主控板需要支持安卓环境下高清1200万像素的2路MIPI-CSI同时输入,且需具备独立的ISP处理图像,支持高清显示和多屏显示功能。此外,由于客户自身硬件实力的欠缺,希望供应商可提供个性化的底板设计服务协助开发。
在内窥镜应用上部署AI功能,对该医疗设备厂商也提出了技术上的挑战。该客户除了需要主控板具备AI加速能力外,在调用AI NPU方面,因客户对RK平台的NPU不熟悉,还需要供应商协助支持提供RK平台的NPU的开发工具相关资料和技术服务。
面临的挑战
- 实时高清摄像头处理能力
- 安卓环境下双路MIPI-CSI摄像头输入
- AI算法及算力支持
- 多屏高清显示
- Arm平台NPU的使用
- 医疗长生命周期供货
解决方案
ROM-6881 SMARC 2.1核心模块方案SGeT组织所推出的SMARC 2.1核心板标准 ,核心板整板尺寸选用的是Full Size,长宽尺寸为82*80mm,通过金手指连接器与底板相连,方便完成安装。此外,SMARC 核心板PIN脚定义相同,方便后续做升级替换。
ROM-6881基于全新RK3588高性能Arm平台,支持4*Arm Cortex-A76 & 4*Arm Cortex-A55主频1.8GHz,内置NPU (神经网络处理器)提供6TOPS的AI算力,在图像编解码和图像处理方面表现出色,满足内窥镜轻量级AI应用算力需求。并且ROM-6881支持四屏独立显示,最高支持8K 分辨率显示。在影像方面,支持4路MIPI-CSI,最高支持1200万像素高清摄像头,提供独立的ISP,更高效的处理图像内容,降低延迟。
除此之外,ROM-6881采用严苛的工业设计,拥有丰富的I/O扩展资源,满足医疗应用的外设需求,产品支持-40~85℃宽温工作环境,提供10年以上的供货生命周期,满足医疗设备长期供货的需求。
研华ROM-6881 医疗内窥镜应用场景
技术支持
项目的顺利开发离不开从产品开发到项目落地一系列的技术支持,在该项目中及时帮助客户解决了安卓环境下无法独立开发出双MIPI-CSI的难题。双MIPI-CSI 同时输入功能未配置在既有的安卓环境,在提出此项需求后,技术团队及时响应,定制了此项功能需求,加快了项目应用落地。
在AI方面,帮助厂商快速熟悉了RK平台的NPU开发工具RKNN,快速部署已训练好的模型,实现AI应用落地。在底板设计方面,提供了详细的底板开发资料,包括核心板PIN OUT,Layout Checking List,Design Guide等文件,供客户参考以便快速设计。在厂商完成底板设计后,研华还提供了底板线路图review服务,帮助客户检测底板设计的错误,避免客户出现底板设计问题。
ROM-6881特性
基于瑞芯微 RK3588 八核 4 x Cortex-A76@2.4GHz,4 x Cortex-A55@1.8GHz
- 搭载6TOPS AI算力 NPU
- 板载4/8GB LPDDR4 内存和 32/64GB 存储
- 支持8K@60fps H.265/VP9 视频解码和 8K@30fps H.265/H.264 视频编码
- 支持 HDMI, DP, 双通道 LVDS/DSI 四路独显解决方案
- 支持4路MIPI-CSI摄像头同时输入
- 支持4 x PCIE3.0, Dual Gigabit LAN, 2 x USB3.0, SATA3.0, 2 x CAN, 3 x MIPI-CSI, UART
- 支持Linux and Android