【边缘计算在手术机器人中的应用学习日志】

边缘计算在手术机器人中的应用学习日志

理论

5G

5G无线电支持超高可靠性和低延迟：

• 更短的传输时间间隔（TTI）：更短的处理时间给了多余的时间重新发送失败的信息。
• 数据包处理管道化：为了减少延时，传输可以在数据包完全编码之前开始，解码可以在完全收到完整的数据包之前开始。
• 无线电资源控制（RRC）连接的非活动状态：降低状态转换、数据传输的延迟，并减少能源消耗。
• 大规模MIMO（mMIMO）：与LTE1800的覆盖范围相同，但5G提供更好的频谱效率，在3.5GHz时达到1Gb/s，本地容量极大（10Gb/s）。
• 支持更大的带宽：更高的数据速率（包括峰值和平均值），比载波聚合更有效。

对于URLLC来说：

• 通过本地GW访问本地服务：NG核心控制功能向本地GW发送流量引导规则，由GW执行并将流量集中路由到边缘的应用。
• MEC平台有可能要求某些流量在本地被引导：灵活的上行平面流量路由通过中央/本地上行功能、UL分类器将流量路由到本地应用，IPv6多址允许同时传输到本地和中央应用服务器
• 支持网络分片：服务协调器创建专用的核心网络实例，执行无线电资源管理策略，并利用软件定义网络（SDN）在传输网络层创建优先连接，从而将WTS流量与其他用户的通信隔离，并确保在需要时提供充足的端到端（E2E）资源。

软件定义网络（SDN）包括控制数据面的分离以及可编程的网络，通过将所有的控制任务推给一个集中的控制器完成网络配置和管理。SDN通过控制器中的可编程接口（如Openflow、ForCES和PCEP）加快了新服务的部署并降低了运营成本。虚拟化指的是网络虚拟化（NV）和网络功能虚拟化（NFV）。NV允许多个虚拟网络在同一网络基础设施上运行，这使得多个网络运营商能够在共享基础设施中共存。NFV指的是在通用计算/存储平台上运行的软件中实现网络功能。在移动网络中，随着从硬件到软件设备的迁移，NFV不仅能降低设备成本（CAPEX），还能降低运营成本（OPEX）。SDN和NFV是5G蜂窝网络架构的关键技术。

边缘计算

云计算模式的主要限制之一是实时响应，因为用户对云的请求在到达云服务器之前必须穿越多跳，就会增加响应时间，可以通过边缘计算（fog计算、微型数据中心(MDC)、Cloudlet和移动边缘计算（MEC)）来应对这些挑战，提供实时响应和近端云服务。雾计算是一个将云计算带到终端用户附近的平台，为网络边缘和网络设备配备虚拟化服务，在处理和存储方面同时提供网络服务。MEC是由欧洲电信标准协会（ETSI）发起的边缘技术，是4G和5G蜂窝网络中的无线接入网络（RAN），通过在基站中配置计算和处理资源来提供边缘计算。由微软发起的MDC是小规模版本的数据中心，将所提供的云服务延伸到终端用户附近。卡内基梅隆大学（CMU）提出的cloudlet概念与MDC类似，作为小型的虚拟化数据中心，以分布式的方式为靠近边缘的用户服务。边缘计算通过将网络和计算资源带到靠近终端用户的边缘设备上，增强了云计算。边缘计算是一个由接入点、交换机、边缘路由器、服务器和终端用户设备组成的异构基础设施，它提供了一个进入服务提供商核心网络的入口，它拥有足够的计算和存储资源以满足终端用户的实时和资源密集型需求。与云计算相比，边缘计算被本地化到部署边缘的区域，提供了低延迟并减少了数据流量。此外，边缘计算也可以用来加密用户数据，而不是将原始数据上传到云端，从而确保用户数据在中间环节的安全和隐私。

移动边缘计算（MEC）服务器可以部署在多个地点，如LTE宏基站（eNodeB）站点、RRH和C-RAN的BBU池，因为它们已经配备了处理和存储单元。因此，大部分的处理可以在RAN内完成，减轻核心网络的带宽压力，从而缩短延迟。例如，预先缓存的电子医疗记录和相关的历史手术数据，如机器人手臂的运动记录，可以存储在数据中心的BBU池中。利用基于深度学习和模式识别算法的人工智能引擎，MEC可以处理三维视频和图像，利用可扩展的视频编码突出相关特征，并对诊断结果的图像进行注释，从而最大限度地减少所需的通信资源。这里的一个开放性问题是如何在计算延迟和通信延迟之间取得平衡。

此外，MEC中的无线电分析应用可以更好地估计网络中的信道质量和延迟变化。这些信息可以被用来优化应用层面的编码、信道编码，减少视频停顿的发生，实现灵活的资源分配。由于基础设施和运营成本的原因，MEC的处理能力和存储量要比传统的云计算小几个数量级。因此，MEC中的计算任务分割、卸载和内容缓存十分重要。边缘计算可以实现快速的机器对机器的通信或机器对人的互动。在边缘计算环境中，人与机器人的互动是数据流的主要来源，在这里可以应用最先进的资源分配或计算加载策略，通过将计算过程推到离数据源更近的地方，使局部处理远离网络，直达传感器。传感器可以作为一个调度器，在必要时将信息发送到另一个边缘设备或云端。这允许每个边缘设备在处理信息时发挥自己的作用，而不是将其所有数据发送到一个集中的服务器。通过分散网络，组织可以通过将资源集中在某些任务上来提高生产力，并通过分散IT基础设施使系统更加高效。

应用

现有的商用5G方案包括：

增强型移动宽带（eMBB），用于访问多媒体内容、服务和数据，支持3D视频；

超可靠低延迟通信（URLLC），用在解决端到端延迟和可靠性方面，支持触觉反馈；

大规模机器类型通信（mMTC），用于大量的连接设备，通常传输相对较少的非延迟敏感信息。

WTS

美国国家航空航天局（NASA)一直致力于将手术机器人送往空间站。许多大型网络工业企业，如沃达丰、华为、诺基亚贝尔实验室等，正在为远程手术服务开发通信解决方案。爱立信和伦敦国王学院在2016年5G世界活动中展示了远程手术。随着下一代无线通信和网络技术的发展，外科医生在太空、战场或移动的救护车上为病人进行远程手术将不再是虚构的事情。

在机器人手术系统的基础上开发一个无线远程手术（WTS）系统，该系统由主控台和从属机器人组成。主控台是一个人类系统界面（HSI），由一个用于位置-方向输入的触觉装置、一个视频显示器和用于视频和语音反馈的耳机组成，将来它还会有触觉反馈输出。远程操作器配备了3D视频摄像头、麦克风，还有一些力传感器和触觉传感器。力传感可以提高手术器械的灵活性和可控性，从而提高手术精度并有效避免解剖任务中潜在的意外伤害，如冠状动脉旁路移植手术。触觉传感可以确定组织的机械特性，如粘度和表面纹理，这有助于检测器官中肿瘤和肿块的确切位置，帮助外科医生准确识别边缘，以便更好地进行解剖。在远程手术中，主控台和远程操作者将通过可靠的高速通信网络连接，以传输实时操纵命令和多模态的感官数据。两个地理位置不同的外科医生可以使用达芬奇手术系统中的双控制台远程操作器在一个手术中合作，然后在第三个地点显示3D视频反馈，用于远程手术演示、培训和临床指导。外科医生需要通过在恒定延迟下训练来适应延迟，可变延迟的网络是无法进行远程手术的。如果有触觉反馈，延迟和抖动的容忍度将变得更小，因为极小的通信延迟、抖动或数据包丢失都可能影响闭合的触觉控制回路的稳定，3D视觉信号和触觉反馈之间的同步也需要考虑在内。

触觉传感器是集成到外科手术器械中的，如抓手，镊子、切割器和导管的尖端以及用于软组织探索的触觉探头，不仅可以测量反馈力，还可以测量组织的刚度。触觉传感装置的外表面的粘弹性能可能因为在器官上摩擦复杂化。因此，这种结构更适合于软组织的静态点测量。用于触觉数据检测的探头可以在极短时间内测量软组织的特性，防止额外并发症。有关软组织的机械特性的信息可以用在两个方面：一是感知仪器施加的压力，以便在操作过程中不伤害组织和血管；二是在手术过程中能够触诊软组织，检测异常部位。因为健康软组织的机械性能与癌症组织不同–肿瘤的弹性大约高出10倍，因此触觉传感器能进一步确定肿瘤的确切位置，使外科医生能够进行更准确的手术切除并尽可能地保留健康组织，减少手术的创伤。达芬奇手术系统使用的触觉传感器还能够过滤掉自然的手部颤动从而提高手术精度，还能减少肌肉疲劳。

人工智能（AI）实现增值的协助服务，通过边缘和核心云的数据分析和机器学习算法处理实时多模态感官数据、预先缓存的电子医疗记录和相关的历史手术记录，帮助外科医生进行异常诊断和决策，产生阻碍力或警告来排除任何由于机器人故障、视频流的延迟显示或因安全攻击而导致的未经授权的操作的风险。例如，Verb Surgical利用先进的成像技术和人工智能神经网络来处理3D视频和图像，并加入解剖学数据的注释，帮助外科医生解释他们所看到的东西，甚至可以提供关于肿瘤边界的信息并提供解剖策略。国内来说，海信计算机辅助手术系统（CAS）以增强CT影像为基础进行深度数据挖掘，精确还原器官、病灶以及周围脉管等系统情况的系统，是辅助医生进行术前精准规划、术中参考、术后评估的精准外科手术解决方案。

AI-doscopist由ResNet50、YOLOv2和一个时间跟踪算法构成，采用ResNet50作为特征提取器。ResNet50由16个残差块构成，每个残差块由三个具有不同通道宽度和步长的卷积层组成，通过改变最后一个卷积层的通道宽度和增加两个卷积层来修改ResNet50的结构。此外，还有一个路由层，用来和保留高分辨率的特征图进行串联。YOLOv2是一个针对实时处理的单阶段物体检测系统，将输入图像分成一定数量的网格，并使用一个基于回归的CNN结构预测每个网格中物体的置信度和位置。组合结构的输出层的尺寸由网格的数量、类别的数量和预定义锚的数量决定。不可能出现息肉的预测框被删除，重叠的预测框使用非最大抑制法进行组合，通过使用长度为六个连续帧的滑动窗口内预测结果的大多数来纳入时间信息。AI-doscopist的主干网络首先用从公共在线数据库ImageNet收集的120万张非医疗图像进行了预训练，使用随机梯度下降法，学习率为0.001，权重衰减为0.0005，动量为0.9，所有学到的权重都受到验证数据集的监控，以避免过度拟合。

基于CNN的框架能够根据外科医生的技能学习为手术机器人导航，机器人也可以操作执行类似的操作轨迹，并保持与人工操作类似的操作力水平。带有生成对抗网络GANs的半监督学习方法使机器人能够从与日常物体互动的未标记的触觉数据中学习。卷积神经网络和深度学习可以同时处理三维视频流、正在进行的操纵命令并监测网络中的延迟变化，可以提高触觉控制的稳定性，减少核心网络的拥堵，从而提高整体系统的可靠性。因为人工智能引擎需要处理大量的实时3D视频和图像和历史医疗数据预缓存，这需要大量的处理和存储能力。通过互联网访问传统的云计算基础设施，会给回程和核心网络带来巨大的压力和极长的延迟时间。移动边缘计算（MEC）同时利用多个边缘节点，将计算和存储单元移到靠近数据产生的网络边缘，改善延迟和可靠性，优化网络运行并改善用户体验。预测、插值、外推模块也可以部署在边缘云，以减少延迟和数据包丢失对触觉控制不稳定的影响。

自主移动的手术机器人需要基于视觉的场景识别和理解获取当前环境中的实时数据，以最佳的路线到达目的地并避开障碍物。它需要在两个障碍物之间的狭窄空间移动并有效地避免与它们相撞。在现有的众多防撞方法中，可能地域法（PFM）实现起来比较简单，效率高，速度快，在大多数应用场景中都很准确。特征提取是场景识别的一个关键步骤，在物体识别和大尺度自然场景图像处理过程中，可以分别将卷积神经网络和超像素与深度玻尔兹曼机相结合，其中大尺度场景图像经过卷积神经网络的预处理得到产品特征后，将其作为深度视觉层输入的玻尔兹曼机进行特征提取，然后用softmax分类器实现对场景的分类。在室内场景中，需要实现三维地图与室内语义信息的关联，利用分散的模块化技术，使机器人同时进行场景物体识别和地图重建，从而实现其室内识别功能。但是传统的PFM在范围内受到局部最小值的影响无法通过障碍物之间的狭窄通道。在移动机器人开发平台（Turtlebot 2）上改进的PFM中，机器人通过RGB-D Kinect传感器捕捉视觉信息，并使用点云库（PCL）转换为3D图像，然后根据三维图像完成障碍物检测。或者它也可以用全局规划器预先知道部分环境的静态地图，再用局部规划器负责避免与移动障碍物的碰撞。用本地规划器采用动态窗口法（DWA对不可达到的速度值进行修剪，从而缩小搜索空间）之后，DWA通过从缩小的搜索空间中选择可能的速度值，使目标函数最小化。预测模型将预测运动并进一步提高拥挤的动态环境中路径规划的效率。

手术视频需要编码并从手术室通过有线公共互联网传输到5G发射器、解码和显示。Haivision商业视频编码/解码系统（CODEC）包括Makito X HEVC编码器、Makito X HEVC解码器和安全可靠传输（SRT）协议，可以用于低延迟的视频流。CODEC将大型视频文件压缩成数据包，通过互联网快速传输。另一个CODEC将压缩后的数据包扩展为原始形式，适合在远程显示器上显示。SRT是一个开放源码的协议，使用端到端的128/256位高级加密标准（AES）加密，允许在互联网上传输高质量、低延迟的数据流。如果一个数据包丢失，SRT能够通过增加冗余信息进行补偿，以延迟为代价增加可靠性。

达芬奇手术系统是目前使用最广泛的机器人手术系统，它是一个由前向链路和反馈链路组成的闭环通信系统。前向链路传输实时操纵命令以控制远程操作器上的机器人手臂的运动和旋转，传输外科医生的语音流以便与外科团队进行远程通信。反馈链路传输来自远程操作者的实时多模式感官反馈，包括3D视频流、力反馈（如压力）、触觉反馈（如组织机械特性）、病人的生理数据（如血压和心率）和来自助理护士、麻醉师和病人身边其他合作外科医生的语音流。源端对感觉数据进行编码，对多模态感官数据采用不同的压缩方案来降低数据速率，例如，视频采用H.264，触觉反馈采用基于感知的数据还原。为了使传输速率的变化具有鲁棒性，采用动态解码器配置和可扩展的视频编码，用多路复用器将不同的感觉数据包交织成一个序列化的比特流。终端也需要各种控制方法，如延迟补偿、抖动平滑和稳定性控制。

视频流被处理并作为单一数据流显示在3D显示设备上，分辨率为1920x1080像素，32比特/像素，帧率为每秒30帧（fps)或每通道60fps，即3D显示设备为60fps或120fps。假设医疗视频压缩率在1:29到1:5的范围内，所需的数据率在137Mbps到1.6Gbps之间，则延迟应低于150毫秒，视频会议要求抖动低于30毫秒，丢包率低于1%。触觉数据包的有效载荷取决于自由度的数量和采样分辨率。因此，通信协议头的开销并不小。未压缩的触觉信号的典型采样率为1kHz，即每个样本的传输服务时间为1ms，可以根据韦伯定律减少触觉数据，可能实现平均采样率降低至90%。触觉数据的数据率从128到400kbps不等，延迟和抖动应分别低于50ms和2ms，丢包率低于0.01%。语音对话数据速率从22到220 kbps不等，延迟和抖动分别应该小于150毫秒和30毫秒，可以容忍1%的数据包丢失。

人类的听觉、视觉和手动交互分别需要大约100ms、10ms和1ms的反应时间。为了实现这些反应时间，使人类的所有感官原则上都能与机器互动，可靠性（故障率低于10^-7，即3. 17s/年的故障率）、速度（30-50Mb/s原始比特率/视图或1Gb/s的全息渲染编码比特率）和延迟（音频/视频反馈、触觉反馈和互动式实时全息反馈分别低于100ms、25ms和5ms）需要得到保证。精度更高的远程操作任务需要更稳定的控制环路，如缝合的触觉数据需要低于10毫秒的延迟和10^-4个数据包丢失。视频数据和触觉数据并存时，要另外设计与eMBB并存的uRLLC流量资源管理。大的视频数据包还会阻塞触觉数据包导致额外的延迟和抖动，延迟、抖动和丢包会危及控制系统的稳定性，降低操作性能和系统透明度。这两种数据的错误控制和拥堵控制方法也不同，如具有任意小的错误概率的香农容量假定了无限的块长，这只能用在视频数据包这种大数据包，而具有严格延迟的短触觉数据包是有限块长的，它的最大可实现速率不能用香农容量来描述。

主控台和远程操作者通过**分布式无线接入网络（D-RAN）或云-RAN（C-RAN）**接入网络，包含无线电频率、物理层、介质接入控制、无线电链路控制、分组数据收敛协议、无线电资源控制，可以实现多路接入、无线电资源分配、混合自动重复请求（HARQ）。C-RAN还可以支持更高的数据率并减少CAPEX和OPEX。C-RAN中，基带处理单元（BBU）与远程无线电头（RRH）是解耦的。RRH位于离用户更近的地方，能够提供更高的数据速率和更低的流量延时。BBU池由一个集中的数据中心实现，该中心利用云技术动态灵活地汇集计算资源来执行基带处理。BBU池和核心云数据中心将预先缓存电子病历、相关的历史手术数据和机器人手臂的运动记录。边缘和核心云的人工智能引擎参与数据分析和机器学习并进行无线电和网络分析预测网络性能变化。多个RRH通过高带宽和低时延的前传连接到BBU池。因为MEC服务器已经配备了处理和存储单元，它们可以部署在多个地点，如LTE宏基站（eNodeB）站点、RRH和C-RAN的BBU池。因此，大部分的处理可以在RAN内完成，减轻核心网络的带宽压力，从而缩短延迟。此外，MEC中的无线电分析应用可以更好地估计网络中的信道质量和延迟变化来优化应用层面的编码、信道编码，减少视频停顿的发生，促进灵活的资源分配。边缘站点包括一个运行高层无线电接口协议（第二层非实时（NRT）和第三层功能）的云RAN和一个用于用户面协议和可选MEC支持的云移动网关（GW）。该站点与计算服务器相连，其中安装了机器人平台最重要的应用，可以与中央站点相连来支持更多服务，也可以与云核心相连实例化安全、移动性、会话等管理的上层协议和功能。C-RAN的中心化实现了复用增益，有效避免了小区间干扰，节约了能源。远程手术中用MAC-PHY分裂或低PHY分裂都是可能的。基于MPLS（多协议标签交换）或光纤网络的回程网络被用来连接RAN和基于SDN（软件定义网络）的移动核心网络，可以基于硬件的可编程交换机和路由器，甚至是构成数据平面并由SDN控制器（如Floodlight控制器或OpenDaylight控制器）控制的虚拟化的交换机来实现。基于SDN的移动核心网络由简单的网络网关组成，它通过这些网关与互联网相连。路由、网络监控、拥堵控制和流量感知的重新配置等功能通过Northbound API与SDN控制器通信。

5G新无线（NR）空中接口的设计目标是在RAN中减少30-50倍的延迟，现有的标准中已经规定了几种PHY设计。LTE在Rel-14中定义了每个TTI（时间传输间隔)周期快速上行链路接入，避免了等待授权的延迟。在以用户为中心的框架中，基于稀疏码多址的5G免授权传输已经减少了94.9%的延迟。在Rel-15中，相比使用1毫秒的TTI，更短的TTI允许传输持续时间小于一个子帧。在下行链路中，子帧的数据部分可以分成几个部分，每个部分都由一个新的带内信道独立调度。LTE和5G NR中的OFDM符号长度分别为66.67微秒和16.67微秒，较短的TTI或子帧可以实现较短的调度单元，将5G用户面的uRLLC延迟缩短到0.5毫秒。灵活独立的TDD子帧将数据传输和解码确认限制在同一个子帧中，更短的时隙和更少的HARQ交错加速了关联控制和反馈，从而实现了更低的延迟。

网络切片（NS）使运营商能够创建定制的网络，为不同的市场场景提供优化的解决方案，满足在功能、性能和隔离方面的不同要求，将关键流量与不太关键的数据隔离开来。网络切片是由一组具有灵活粒度的网络元素功能组成，包括无线接入、传输和核心网络。每个NS是一个独立的虚拟化的端到端网络实例，以确保所支持的服务组的端到端性能。通过协调分布式云基础设施上的网络功能，可以为任何特定的用例设计、创建和动态地激活单个NS。远程手术需要为3D视频、触觉数据和生理数据创建单独的切片。虚拟化允许在转发图的最佳位置将网络功能实例化来缩短延迟。中心化的SDN控制器实现了低延迟的转发路径发现和可靠的多路径路由。此外，网络编码（NC）的重新编码和滑动窗口功能与SDN相结合也可以大大降低延迟并提高可靠性。

当远程手术系统通过公共网络进行通信时，它将面临各种安全和隐私问题，这些问题会严重影响手术效果，甚至威胁到病人的生命。例如，恶意软件程序可以利用机器人系统软件的漏洞，进行远程劫持。对手还可以用拒绝服务（DoS）攻击发送大量的洪水数据包或其他虚假数据包来消耗网络带宽，从而导致数据包延迟、抖动和丢失，甚至将远程外科系统断开网络或大大降低网络链接的速度，阻碍主控台和远程操作者之间的通信。利用中间人攻击和冒名顶替攻击还可以修改操作命令和感官反馈数据。此外，在互联网上交换病人的健康数据也容易引发隐私问题纠纷。传统上这些可以通过访问控制、认证、保密性和数据完整性策略解决，但密码学和安全协议将消耗计算资源并引入通信开销。利用NS之间的隔离就可以提高安全性和隐私性。SDN中集中式控制器的实时流量监测可以灵活地调整流量波动的带宽。SDN的动态可编程性和控制、数据分析和机器学习能力可以实现网络切片的动态编程，从而优化通信性能和用户体验，平稳地保证端到端的性能，显著提高网络利用率，并提供具有成本效益的通信服务。例如，可以在解剖结构周围放置一个虚拟的 “墙”，以防止手术器械接触到它。

需要强调的是，主站和从站有可能位于两个网络中，由两个不同的互联网服务提供商（ISP）管理。这意味着，端到端的路径预留应具有多域功能。因此，多域路径保留协议的设计是为技能互联网设计的网络的另一个有利特征，SDN可能会派上用场，允许运营商域在从主站到从站的路由中协商流量政策，从而保证有效的端到端路径保留。

主要文献参考

Surgery from a Distance—Application of Intelligent Control for Telemedicine L. Kovács*, T. Haidegger*, and I. Rudas

Implementation of Tactile Sensing for Palpation in Robot Assisted Minimally Invasive Surgery Jelizaveta Konstantinova, Allen Jiang, Kaspar Althoefer, Member, IEEE, Prokar Dasgupta, and Thrishantha Nanayakkara

Mobile Edge Computing A key technology towards 5G Yun Chao Hu, Milan Patel, Dario Sabella, Nurit Sprecher and Valerie Young

SDN and Virtualization-Based LTE Mobile Network Architectures: A Comprehensive Survey Van-Giang Nguyen, Truong-Xuan Do and YoungHan Kim

5G-Enabled Tactile Internet Meryem Simsek, Adnan Aijaz, Member, IEEE, Mischa Dohler, Fellow, IEEE, Joachim Sachs, and Gerhard Fettweis Fellow

Internet of Skills, where Robotics meets AI, 5G and the Tactile Internet Mischa Dohler, Toktam Mahmoodi, Maria A. Lema, Massimo Condoluci, Fragkiskos Sardis, Konstantinos Antonakoglou, and Hamid Aghvami

Towards 5G Enabled Tactile Robotic Telesurgery Qi Zhang, Jianhui Liu, and Guodong Zhao