FPGA在医疗的应用，以4K医疗内窥镜为例

前言

随着技术的发展，医学影像作为科学技术的主要成就之一，在无创诊断和治疗领域已经有了多种应用。其中一个应用是内窥镜，在20世纪90年代，当利用电荷耦合装置将图像传输到显示器上成为可能时，内窥镜变得更加广泛。为了帮助医生更好地识别和定位病灶，厂商不断提高内窥镜的分辨率，人体医疗内窥镜的分辨率从1080P逐渐发展到如今的4K。除此之外，荧光和3D技术都被创造性地加入，以进一步帮助医生更准确地诊断人体并进行手术。日前，工信部在《医疗装备产业发展规划 (2021-2025年) 》中，对医疗装备重点发展、突破方向作了详细规划，其中包含了要重点突破医用内窥镜等影像诊断设备的战略目标。

技术挑战

在临床环节中，内窥镜应用允许的最大图像延迟在50至150毫秒之间。然而，对于外科手术来说，内窥镜需要实时或接近实时地做出反应，同时执行图像校正、色彩噪声修复、边缘增强、缩放等功能。此外该应用的终端应该尽量小巧，显示具备4K清晰度，3D，荧光并支持SDI/HDMI接口。4K只需要一个高清摄像头，而荧光和3D分别需要额外的一个高清摄像头，这也对核心板资源、数据传输和处理速率、算法效率提出了挑战。

解决方案

以FPGA SoC为核心技术的内窥镜系统可以做到实时4K视频流。4K图像传感器负责捕捉图像信息，而图像的信号处理则由Mercury+ XU8 FPGA（SoC）模块完成。捕获的视频流被送入Mercury+ XU8 FPGA（SoC）模块进行图像预处理，然后通过图像管理和存储单元，将处理后的高清图像通过显示接口呈现在高清显示器上供外科医生观看。长期占据赛灵思首页的Mercury+ XU8核心板提供XCZU4CG、XCZU5EV、XCZU7EV三个型号，用户在需要更多资源时可选择更高端的型号，升级换代简单便捷。

水星Mercury+ XU8核心板

结构框图

除了Mercury+ XU8 FPGA (SoC)，还有其他的SoC可以考虑用来实现这一应用，例如Mercury+ XU5, Mercury+ XU9。使用Mercury+ XU8 FPGA (SoC)模块可以实现硬件系统的高度集成，大大缩短开发时间。同时，通过支持各种外围接口，可以更加快速方便的实现未来的功能更新和扩展。由于瑞苏盈科庞大的产品序列，用户可在Xilinx Kintex-7、Zynq-7000、Zynq Ultrascale+ MPSoC等系列的多款核心板模块中进行选择。核心板模块在其系列（火星Mars、水星Mercury、仙女座Andromeda）内与其他大部分核心板管脚兼容，这意味着用户还可以规划明确的升级路径，升级换代时所付出的工程量大大减小，甚至可以在项目开发的过程中临时更改核心板型号。FPGA核心板模块最低预期生命周期为10年以上，同时在设计硬件时着重考虑产品前瞻的可用性和性能，所有产品均可长期交付。

核心板模块系列

FPGA（现场可编辑门阵列）作为赛灵思（Xilinx）的一项重要发明，以其可编程和灵活性著称。起初，FPGA只是用来仿真ASIC，再进行掩码处理和批量制造使用。不过ASIC相比FPGA来说明显在定制化上要求过高，流片量过小情况下成本反而更高，因此两者毫不冲突地“各司其职”。而后，随着加速器的出现和算力提升，目前已成为与GPU齐名的并行计算器件。

如今，FPGA已进发数据中心领域，相比CPU和GPU，FPGA所需器件更少，功耗也更优。赛灵思依靠其“数据中心优先”、“加速核心市场发展”、“驱动自适应计算”的三大战略加持下，使其ACAP平台和Alveo加速卡在数据中心市场极具竞争力。

除此之外，赛灵思曾为笔者展示过其云服务商领域的“一体化SmartNIC平台”、消费领域的“FPGA TCON”方案、工业领域的Zynq SoC系列方案。

实际上，根据赛灵思透露，医疗领域已占据赛灵思营收非常重要的比重，并且一直在11%-15%的速度增长。那么赛灵思是依靠什么FPGA产品占据的医疗市场，FPGA器件在医疗设备中扮演什么角色？

日前，赛灵思为记者介绍了近期在医疗科学和医疗设备方面的成果，21ic中国电子网记者受邀参加此次采访。

FPGA器件能用在什么地方

信息显示，全球人均医疗支出每年都在增长，随着人口老龄化加剧，消费者对医疗条件和医疗成本都有着极高的预期。另一方面，随着疫情的爆发，市场对病情的及早发现和诊断的快速分析有了更高的要求，这就需要医疗器械成本的进一步降低和算力的提升。

FPGA器件自身拥有可编程特性，借助这种优势，可避免ASIC器件前期高昂的一次性工程费用，消除最低订单数量和多芯片迭代风险和损失。医疗行业本身是与科技发展联系最为紧密的行业之一，伴随FPGA器件的不断迭代升级，更多新设备出现，引领了新的治疗方法、治疗途径、治疗理念的改变。

赛灵思医疗科学全球业务市场负责人Subh Bhattacharya

根据Subh Bhattacharya的介绍，赛灵思的FPGA器件在医疗领域的应用主要分为三类：临床、医疗成像和诊断分析。

01

临床环境

临床设备数量大种类多，因此需要灵活性极强的FPGA。需要注意的是，部分设备直接影响患者生命安全，对启动速度、安全稳定性、时延要求极高；部分设备在便携性上则有一定要求，对功耗、小尺寸有很大需求。

根据Subh的介绍，在临床方面，赛灵思的Zynq UltraScale+ MPSoC（下文简称为“ZU+ MPSoC”）是一个高度集成的平台，集成多个处理器，拥有可编程逻辑，此外还集成了信息安全和功能安全功能。Subh强调，这个技术平台的强大功能和性能非常适合在临床环境应用之中，包括从云端到边缘。

Subh为记者展示了几个利用该平台解决临床环境的实例：

其一是赛灵思与Spline.AI和AWS（亚马逊云服务）合作开发的医疗AI，利用ZU+MPSoC的ZCU104平台作为边缘设备，实现的高精度低时延的医疗X射线分型深度学习模型和参考设计。该方案可独立自主根据Chest X-Ray预测疾病，也可预测COVID-19和肺炎，也可开发定制模型供临床使用。另外，ZCU104支持开源语言PYNQ语言下开发，也可借助AWS IoT Greengrass实现进一步的扩展和部署。该方案发挥了ZU+ MPSoC的高性能和扩展性，赋予了低成本医疗设备高精度的诊断。

其二是赛灵思为奥林巴斯内窥镜核心技术提供支持。该方案发挥了ZU+ MPSoC在启动速度、功耗和低时延的特性。

其三是赛灵思为Clarius超便携高性能超声波系统。该方案发挥了ZU+ MPSoC片上双ARM处理器和FPGA的小尺寸封装特性，实现了超便携。

究其历史，Zynq SoC是赛灵思在2011年推出的全球首款集成ARM内核的产品，彼时该平台称为“可扩展的处理器平台”，主要是为了将市场扩展到嵌入式应用之中。此前FPGA多用作辅助芯片，自从引入更多功能的集成SoC平台之后，ARM GPU、数据安全处理器、功能安全处理器都被集成在单芯片之中。Subh表示，经过这样的转型之后，赛灵思从每年5%-6%的收入增长，实现了到14%-15%的收入增长，2.5倍的增长率全要归功于这样的技术平台。

除此之外，Subh还为记者展示ZU+ MPSoC在医疗安全上的解决方案。“目前，全球安装的医疗物联网设备超过1亿台，到2020年将增长到1.61亿台。医界高管认为 59%隐私问题， 55%老旧系统集成和54%安全问题，是阻碍当今医疗机构采用物联网的三大障碍。”

Subh表示，赛灵思可以利用可编程平台，不断适应新的安全防护措施，这种升级囊括了软件和硬件。最终体现在SoC上的，就是认证与加密启动、安全启动、测量启动、安全应用通信、基于云的监测等功能。

02

医疗成像

大型医疗成像设备使用FPGA器件已经是基本操作，Subh为记者介绍，在医疗成像方面，主要包括CT、超声、X射线、PET、MRI扫描仪等。

对于医疗成像，Zynq UltraScale+ MPSoC同样适用。Subh表示，除此之外还有Versal ACAP，这个系列可以理解为下一代的MPSoC，Versal ACAP在成像领域具有非常大优势。

Versal ACAP除了拥有ARM多处理器集成、可编程逻辑、DSP以外，还加入了AI引擎，即SIMD、VLIW这样的单元，可以支持很多类似操作的平行处理。

Subh为记者展示了超声波图像重构与计算机辅助诊断的方案，利用赛灵思的软硬件支持，能够降低功耗和热度范围、降低解决方案成本、延长设备使用寿命、低时延边缘推断，虽然市场非常复杂，赛灵思的技术也能够大大提高生产力。

03

诊断分析

Subh表示，除了SoC和FPGA，赛灵思还提供即插即用的Alveo加速卡，正因这是一种PCle的解决方案，因此可以大大降低开发时长。根据介绍，Alveo加速卡适用于任何通用PC，既可以加速CPU的普通任务，也可以加速其他的GPU的任务，最终实现高吞吐量和超低时延。其独特的算力和灵活应变能力，可以大大加速很多的医疗应用。

联影医疗（United Imaging）是一家中国公司，这家公司在使用Alveo U200加速卡替代传统GPU时发现，Alveo的技术成本更低、功耗更低，并且无需牺牲任何性能或是开发进度。

FPGA vs. CPU&GPU

医疗设备中使用CPU或者GPU产品的方案也屡见不见，为何FPGA拥有如此卓著效果，甚至有着替代CPU和GPU的“魔力”？实际上，CPU和GPU都属于冯诺依曼结构，FPGA能够突破结构上的限制因此拥有极强的能效。

具体来说，CPU和GPU需要使用SIMD（单指令流多数据流）来执行存储器、译码器、运算器、分支跳转处理逻辑等，FPGA则在烧写时已经确定每个逻辑单元的功能，因此不需要指令；另外，CPU和GPU在内存使用中是共享的，因此就需要访问仲裁，执行单元间的私有缓存使得部件间要保持缓存一致性，同样在烧写过程中FPGA已明确通信要求，因此无需共享内存进行通信。

得益于此，FPGA拥有极强的浮点乘法运算能力，而且对比同样是浮点运算的GPU延迟更低。这是因为，FPGA同时拥有了流水线并行和数据并行，而GPU只有数据并行。

从算力上来说，赛灵思还将FPGA器件转变为了SoC进行加速和自适应。赛灵思在加速上通过标量引擎实现，包括ARM、应用处理器和实时处理器，而自适应引擎的核心便是可编程逻辑器件FPGA，另外还配备智能引擎，目前配备的是DSP。特别是，在Versal ACAP的平台上还会将会有AI引擎进行支持，进一步进行加速和自适应。

“在医疗领域，诸如内窥镜这种应用，手术中患者拥有一个共同的要求，就是时延非常低，甚至需要实时来完成。从摄像头捕捉图像，经过管线处理，再到显示屏可能不到20微秒的时间。CPU和GPU达不到FPGA如此低的时延，因此这就是FPGA相比CPU和GPU的最大优势”，Subh继续为记者介绍，从功耗、成本和集成上，赛灵思SoC的FPGA也拥有更好的优势。

“很多领域，诸如视觉化，GPU使用很多年了，FPGA并不是做不到，不过我们还是会专注在优势的领域，即在封闭空间内做数据移动，而非断断续续的内存上传的情境”，Subh坦言。

不同层面分析FPGA在医疗的应用

能够在医疗领域，兼顾拥有业界领先的AI时延与性能，生命周期延长、高质量、高可靠性、高安全性，实时、确定性控制与接口的仅赛灵思一家。

赛灵思除了提供FPGA和 SoC这样的硬件器件及平台以外，还专门为降低FPGA 开发门槛满足广泛市场应用需求量身定制了Vitis AI统一软件平台。之前笔者也曾多次介绍这款软件平台，算法工程师无需硬件设计经验，也可直接应用算法的实现。

赛灵思的医疗解决方案帮助了Illumina对重症新生儿做基因组分析，为ICU患者和重症患者加速推进eyetech的基于眼球追踪的沟通平板电脑，与迈瑞合作以抗击新冠疫情。FPGA就是在不经意间为生命增添了一份敬畏。

笔者认为，赛灵思的FPGA器件从高性能加速和自适应两方面着手，成为了其在市场立足的最大竞争力。一方面，FPGA、ARM、应用处理器、实时处理器、DSP、AI引擎利用片上系统（SoC）和软件进行高度集成，既增强了算力也增强了应用的扩展性；另一方面，FPGA本身拥有的低延时性，对于时延要求极高的医疗领域可以说是“天生一对”。

从市场上来分析，随着疫情的爆发，医疗设备市场需求持续增加，其中不乏大型数据分析和便携性要求极高的设备，这刚好吻合了FPGA SoC的特点。另一方面，医疗水平的提升和市场马太效应之下，更具能效和低功耗优势的FPGA产品需求量持续增加。

从软件上分析，赛灵思的Vitis平台适用于不同人群，包括熟练掌握HDL语言的硬件工程师，熟练掌握各大编程语言的软件工程师，也适用于熟练掌握TensorFlow、Caffe、PyTorch的算法工程师。利用这种灵活性，可以让许多有创意的初创公司有了施展拳脚的可能。

通过赛灵思的介绍，可以说无论是大型设备还是便携设备，FPGA都有其一席之地。

未来赛灵思医疗创新之路该如何发展？Subh表示，在医疗产品上赛灵思将不断提高集成度并降低封装尺寸，另一方面，将会不断发展异构计算提高效率和性能。