Image-Guided Navigation of a Robotic Ultrasound Probe for Autonomous Spinal Sonography Using a

目录

摘要

方法

探头-患者交互作用的模拟

导航动作选择的强化学习

状态State

 动作Action

 在约束条件下的状态转换

奖励Reward

终止条件Termination conditions 

深度强化学习算法

实施细节

声阴影奖励

选择特定于视图的感兴趣区域

混合奖励功能

 用于标准视图识别的深度学习

 双agent协同导航的工作流程

博文相关链接

REFERENCES

---

基于阴影感知双agent框架的自主脊柱超声成像的机器人超声探针的图像引导导航[TMI 2021]

双agent

强化学习、双agent、探针导航、CNN、SP 定位

摘要

双-agent框架集成强化学习（RL）agent和深度学习（DL）agent共同确定超声调查的运动基于实时图像。

RL agent：基于实时超声图像反馈、自动控制虚拟探头的6-DOF姿态，导航到标准扫描平面。

DL agent：位置敏感，识别腰椎的标准视图，为RL  agent提供反馈，并通过双agent协同导航工作流联合确定探针的运动。

根据脊柱解剖学的特点，我们引入了一种新的特定于视图的声阴影奖励，它利用声阴影信息来隐式地指导基于rl的导航。

不需要专家的演示数据

视频演示：【机器人+医学成像】基于强化学习+深度学习的机器人自动脊柱超声导航算法论文demo~_哔哩哔哩_bilibili

GIF演示：

图  2  在机器人脊柱超声中自动标准视图采集的方法概述。

(a)显示了真实世界的系统配置，其中一个超声探头由一个机械臂控制，以扫描患者的俯卧位。

(b)给定获取的US图像作为输入，RL代理根据SonoQNet选择最佳导航动作来控制探针的5-DOF运动。

超声置信图是从超声图像中计算出来的，以计算(c)视图特定的声阴影奖励，这与导航奖励结合用于训练RL代理。同时，

(d)一个预先训练的DL代理识别从超声图像的标准视图，并共同确定探头在安全相关环境约束下的移动。该框架的目标是自动获得腰椎的三个标准视图（PSL、PSAP和TSP视图）

方法

探头-患者交互作用的模拟

由于RL agent通过试错来学习最优策略，因此直接训练探头导航agent针对真实患者是不安全和不切实际的。一个可行的解决方案是建立一个具有真实数据的仿真环境来训练RL代理。不同于之前的研究[29][30]，[29][30]使用人工获取的、空间跟踪的二维超声帧来构建模拟环境，

图3      机器人脊柱超声检查的模拟环境示意图

在我们的模拟中，虚拟患者重建腰椎的三维体积，并将虚拟探针建模为常用的方形二维探针。将探测的成像平面设置为探测帧{P}的y-z平面。世界框架连接在机器人底座上。与目标标准视图相关的当前探针姿态和目标探针姿态用变换WP T和WGT表示，对应的US图像分别用I和Ig表示

导航动作选择的强化学习

状态State

探针保持的完整状态可以表示为，

表示当前和目标探针姿态以及相应的超声图像，

如第III-A节所述。我们假设病人的解剖结构和机器人和病人之间的相对姿势是未知的。

因此，目标探头的姿态和图像是不可观测的，agent只能观察获得的超声图像I并做出导航决策。

我们使用agent最近获得的4个连续的超声帧序列作为时间的观察，来利用动态信息，类似于[34]。

 动作Action

在从当前观测st到导航操作的地图上。为了使学习到的动作更加灵活，并且独立于患者的实际位置和方向，不同于以前表示世界框架[29][30]中动作的方法，我们遵循以探测为中心的参数化，并将导航动作a定义为转换操作符

相对于探针帧{P}，使探针被移动

 由于在约束下包含16个参数来表示一个有效的转换，直接学习这些参数将是很棘手的，并且学习策略的可解释性将受到限制。

此外，参数的微小变化可能会导致探头姿态的突变，这在超声的探头导航任务中是不利的。

为了解决这些问题，我们将动作空间离散为10个与探针的5个自由度相关的10个动作原语，如图2 (b).所示四个动作表示探针沿着探针的±x、±y轴的平移，六个动作表示围绕探针的±x、±y、±z轴的旋转。

我们采用分层的操作步骤，以一种从粗到细的方式导航探针，类似于[31]。具体来说，动作步骤被初始化为5mm/5◦。30个最近的探针姿态存储在一个具有格式的缓冲区中，其中pt是探针在t时刻的位置，qt是探针方向的四元数表示。如果30个最新的探针姿态中至少有3对的成对欧氏距离小于0.01，则假设探针姿态已经收敛，动作步长将减少1mm/1◦。

 在约束条件下的状态转换

与之前直接应用agent[29][30]选择的导航动作的工作不同，我们在现实世界的超声扫描中考虑了一些与安全相关的环境约束来更新探针姿态，如图2所示。首先，我们考虑了将探头放置在皮肤表面的实际要求，以确保良好的声学耦合。由于在我们的模拟中，虚拟患者大致平行于水平面（见第III-A节），我们使用探针在±z方向上的1-DOF平移运动来跟踪患者表面z = f（x，y）。其次，为了确保探头与患者的良好接触，保证患者的安全，应限制探头的倾斜角度（成像平面与垂直方向之间的角度）。因此，在计算出新的探头方向后，将倾斜角度计算为

 其中zˆp是沿探针z轴的单位向量。我们限制倾斜角度小于30◦。如果为α>30◦，则探测方向将不被更新。在上述约束条件下确定新的探针姿态后，可以从虚拟患者中获得新的US图像，并更新探针的状态。

奖励Reward

在我们的任务中，用于RL训练的奖励函数应该鼓励代理最小化到目标的距离，这可以被表示为

 

其中是L2 norm，是内积。根据定义，dt测量当前探针位置与目标位置之间的欧氏距离，θt是从当前探针方向旋转到目标方向所需的最小角度。 

 一些方法通过将行为分类为“好”（更接近目标）或“坏”（远离目标），并使用手动设置的值[29][30]分配奖励，来构建一个密集的奖励函数。与[31]类似，我们将t时刻的导航奖励设计为与动作步骤标准化的姿态改进量成正比

 请注意，，因为每个步骤中的动作是平移或旋转。此外，我们为任务完成分配了高奖励（+10）（dt≤1mm和θt≤1◦），并根据安全相关的约束添加了一些惩罚。当探头α的倾斜角度超过30◦时，代理将收到−0.5的惩罚。当探针移动到患者体积之外时（它中具有非零灰度值的像素的比例小于30%），代理将获得−1的奖励。综上所述，所述时间步长t时的奖励被定义为

终止条件Termination conditions 

在训练过程中，我们在以下情况下终止一个发作：

a)达到目标

b)步数超过最大限制

c)动作步骤减少到零

d)探针移出患者。

在测试过程中，由于没有目标的真实位置，只使用终止条件b、c、d。

深度强化学习算法

在RL框架中，代理学习最大化未来奖励的折扣和，

其中γ∈（0,1）是一个折扣因子，T是事件终止时的时间步长。

最优策略π∗：st7→at是最大化预期收益

状态动作值函数Qπ（s，a）定义为以下策略π：。

在任何策略π之后的最优Q-函数都满足贝尔曼方程

 

 如果Q∗（s，a）已知，则通过π∗=argmaxaQ∗（s，a）可以确定最优策略。

在这项工作中，我们使用一个深度神经网络Q（s，a；w）来近似Q∗（s，a），并使用深度Q学习算法[34]来训练网络。

在我们的方法中使用的深度q网络架构被称为SonoQNet，如图4所示。它是由SonoNet-16架构[5]修改而成的，它最初被提出用于对胎儿图像中的标准视图进行实时分类。SonoQNet的输入是4张最近获得的超声图像。卷积块的输出是10类得分地图的大小为9×9，与10个导航动作相关联。为了使该网络适合于我们的目标应用程序，我们放弃了SonoNet-16的最终softmax层，并通过全局平均池化（GAP）[35]来聚合类得分图，从而对10个导航动作的q值进行估计。通过随机梯度下降迭代更新w以最小化损失函数，可以学习最优网络参数w∗

图4           用于导航动作选择的SonoQNet架构示意图

输入是4张最近获得的150×150的美国图像。输出是10个导航操作的预测Q值，代理将选择Q值最高的操作。特征提取器包含13个卷积层（蓝色），每个层随后进行批处理归一化和ReLU激活。最大池化（黄色）是在前4个卷积块之后执行的，滤波器大小为2×2，步幅为2。每个特征图的大小在图块的上方表示。最后一个卷积+BN块（绿色）的输出是与10个导航动作相关联的10个类得分映射，最终通过全局平均池（GAP）聚合以近似q值。

 其中wi是第i次迭代中的权重。

实施细节

SonoQNet采用[34]中描述的经验重放和目标网络技术进行训练。在我们的实现中，我们使用Adam优化器[36]每10个交互步骤训练网络，批大小为32，每1k个训练步骤更新目标网络。折扣系数γ为0.9。体验回放记忆的容量为100k。在初始化过程中，网络被更新10k次迭代，以0.01的经验学习率，由监督策略选择最小化距离的行动。随后，利用ε贪婪策略对网络的经验进行200k迭代训练。在前100k的相互作用步骤中，勘探速率ε从0.5线性衰减到0.1，之后保持不变。前40k训练步的学习速率设置为0.01，后40k步设置为0.001，下30k步设置为5e-4，其余步骤设置为1e-4。

声阴影奖励

利用US置信图进行声阴影估计：由于声音传播的性质，US信号在组织-骨界面上会被强烈地衰减，从而在界面后产生声阴影。在大多数情况下，应避免出现超声图像中的阴影伪影，以提高成像质量。然而，在脊柱超声检查中，阴影可以产生一些超声模式，可以帮助定位脊柱解剖[7]。例如，在中的阴影模式PSL和PSAP视图被称为“马头标志”和“驼峰标志”，TSP视图中的声影表现为高而致密的声影，如图5（a-c）所示。因此，我们推测，额外考虑阴影信息可能会提高脊髓超声的导航性能。

 图5。(a)-(c)显示了脊柱的PSL视图、PSAP视图和TSP视图的美国图像和相应的置信度图。在图像中可以看到黄色虚线下方的声学阴影。(d)说明了所提出的ROI候选对象来定量测量阴影区域。

在这项工作中，我们检测阴影地区的美国图像通过计算其美国信心地图在时间步长t，基于[37]估计每像素信心在美国图像强调阴影区域的不确定性使用随机行走框架。像素的置信值越低，表明声阴影的可能性越大。如图5(a)-(c)所示，在置信图中突出显示了超声图像中可能的阴影区域。此外，基于不同的标准视图获取任务可能需要不同的潜在阴影模式，我们计算了图像中特定视图感兴趣区域（ROI）的平均置信度

 

 其中，S为目标标准视图所选择的ROI。注意，S中的阴影密度可以用1−ct表示。在时间步长t时，ROI的置信度变化可以用表示

共提出了8个候选ROI，如图5(d).所示它们被选择为在图像中水平居中的矩形，并从顶部边缘偏移10或20个像素。ROI的高度设置为80，宽度从{80、100、120、140}中选择。这些带状区域的选择是基于观察顶部区域（高度约10像素）几乎完全位于组织骨界面上方，底部区域（高度50像素）几乎完全位于组织骨界面下方，几乎不能提供任何区分的阴影信息。

 共提出了8个候选ROI，如图5(d).所示它们被选择为在图像中水平居中的矩形，并从顶部边缘偏移10或20个像素。ROI的高度设置为80，宽度从{80、100、120、140}中选择。这些带状区域的选择是基于观察顶部区域（高度约10像素）几乎完全位于组织骨界面上方，底部区域（高度50像素）几乎完全位于组织骨界面下方，几乎不能提供任何区分的阴影信息。

选择特定于视图的感兴趣区域

为了为不同的任务选择特定于视图的roi，我们分析了RL代理的导航性能与每个任务中的阴影特征之间的关系。如图6（a-c）所示，每一步Rnav的平均导航奖励，

图6。（a-c）分别显示在RL训练获取PSL、PSAP和TSP视图时，每步的平均导航奖励、最终位置误差d和最终方向误差θ与每步∆c的平均ROI置信度变化。使用不同的ROI配置的结果用不同的颜色表示。(d)显示了相关性ρ，它测量了在获取三个标准视图的过程中，导航性能与不同roi的置信度变化之间的关系。

在PSL、PSAP和TSP视图获取中，最终位置误差d和针对RL代理每步∆c的平均置信度变化的最终方向误差θ。从图6（a-b）中可以看出，无论使用哪种ROI配置，随着∆c的增加，位姿改善越大，最终位姿误差越小。这表明对PSL和PSAP视图的导航性能与ROI的置信度提高正相关，并且代理在学习导航策略的过程中隐式地学习减少ROI中的阴影区域。这可能是因为在这些标准视图中，大部分阴影区域出现在ROI之下（见图5（ab）)。不同的是，导航TSP视图，导航性能和信心变化之间的负相关，这意味着代理学习最大化阴影区域在搜索TSP视图，这可能是由于高密集的声阴影图像中心在棘过程（见图5(c)）。为了找到每个任务中与导航性能最相关的ROI配置，我们使用Pearson相关系数（PCC）来定量测量导航性能与不同ROI的置信度改善之间的关系。PCC测量了两个变量X和Y之间的线性关系，可以用

式中，µX、µY分别为X和Y的平均值，σX、σY为X和Y的标准差。ρ(X, Y) ∈ [−1, +1].为了同时考虑导航效率和精度，我们计算了Rnav、d、θ和∆c之间的PCCs的加权组合

 因此，ρ∈[−1，+1]表示了整体导航性能与训练数据的置信度变化之间的相关性。

不同任务中不同ROI配置的相关性ρ如图6(d).所示可以看出，朝向PSL视图的导航性能与ROI No. 0的置信度提高最密切相关，ROI No. 0是一个大小为80×80的小正方形区域，从顶部边缘偏移10。对于获取PSAP视图，选择ROI No.1（大小80×80，从顶部边缘偏移20）。这可能是因为组织-骨界面在PSAP视图中比在PSL视图中更深。对于TSP视图采集，ROI No. 1与导航性能的负相关性最大，这意味着代理打算最大化该区域的阴影面积。

不同任务中不同ROI配置的相关性ρ如图6(d).所示可以看出，朝向PSL视图的导航性能与ROI No. 0的置信度提高最密切相关，ROI No. 0是一个大小为80×80的小正方形区域，从顶部边缘偏移10。对于获取PSAP视图，选择ROI No.1（大小80×80，从顶部边缘偏移20）。这可能是因为组织-骨界面在PSAP视图中比在PSL视图中更深。对于TSP视图采集，ROI No. 1与导航性能的负相关性最大，这意味着代理打算最大化该区域的阴影面积。

混合奖励功能

为了利用阴影信息来指导导航，我们在原始奖励功能(5)中引入了一个视觉特定的声阴影奖励（ASR）来进行RL训练：

 

 其中，λ = 1用于获取PSL和PSAP视图，以鼓励ROI中的信心提高，而λ=−1用于TSP视图，以鼓励ROI中的阴影区域最大化。

 用于标准视图识别的深度学习

在第III-B节和第III-C节中，我们介绍了用于超声标准视图采集的基本RL agent及其考虑了声学阴影信息来指导导航的高级版本。

然而，尽管RL代理可以学会导航超声调查基于获得的超声图像，导航是“盲目”终止，也就是说，agent不知道是否到达目的地，只是结束导航时或被困在一个位置很长一段时间。

这种天真的策略可能会带来一些问题。例如，agent可以在开始时被初始化为一个次优的位置，并且导航将被迅速终止，而无需进行进一步的探索。

另一种可能的情况是，agent可能已经到达了所需的标准视图，但错误地移到了一个次优位置。为此，需要提出一个更好的策略，以实现主动终止和探索RL agent。一些研究人员提出确定RL的最佳停止位置agent基于q值[19][20]，但这些方法可能没有很好的可解释性。因此，我们建议使用预先训练好的DL代理来识别超声图像中的标准视图，为RL agent提供反馈，并共同确定探针的移动。

图7       用于标准视图采集的双代理协同导航方法的工作流程

蓝色框表示RL  agent的操作，橙色框表示DL  agent的操作。DL agent的标准视图识别结果被用作反馈，以使RL代理能够主动终止和探索。

 在本工作中，我们采用VGG-16 [38]作为DLagent的基本深度神经网络模型，用于标准视图识别任务。我们用在ImageNet数据集[39]上训练的公开可用权值初始化网络。然后，将原始的顶部全连接层替换为一个全连接层，其中4个输出对应于3个标准视图和背景，并随机初始化其权值。该网络对我们的训练数据（带有类标签的超声图像）进行微调，使用随机梯度下降和交叉熵损失，批大小为16个epoch，以实现稳定的性能。在训练中使用较小的学习率为0.0001。此外，由于超声图像中像素的空间位置对于正确定位脊柱解剖以进行标准视图识别起着重要作用，我们采用多尺度融合（MSF）方法对输入进行预处理，使分类网络对位置特征更加敏感。超声图像的多个尺度（图像中心周围100%、75%和50%）形成不同的通道，如图2(d).所示请注意，这种方法不会增加网络的整体复杂性。

 双agent协同导航的工作流程

为了集成RL和DLagent来提高采集结果，我们提出了一个工作流程，允许两个agent的协作来共同确定超声探针的移动，如图7所示。每次RLagent选择一个导航动作并获取一个图像时，DLagent将检测并保存在一个候选集中以预测概率超过0.5的可能的标准视图图像。在RL动作步骤减少为零或时间结束后，将检查候选集。如果不是空的，在RL导航过程中最后记录的标准视图候选将被选择为最佳停止位置。我们使用最后记录候选人而不是候选人的最高预测概率，因为

1)标准视图识别结果可能不准确，

2)很可能位置在后期阶段RL导航轨迹更可靠比在早期阶段。

如果时间超时，但候选集为空，则导航将直接终止。如果在RL导航过程中没有检测到标准视图，并且还有时间，探头将随机重新定位在患者上，并重复之前的导航过程，直到总步数超过限制。

博文相关链接

论文作者-基于置信度版本

识别、提取三维超声中标准平面的总结+论文+代码合集_luemeon的博客-CSDN博客

REFERENCES

[1] D. W. Rhodes and P. A. Bishop, “A review of diagnostic ultrasound of

the spine and soft tissue.” Journal of Manipulative and physiological

Therapeutics , vol. 20, no. 4, pp. 267–273, 1997.

[2] D. A. Provenzano and S. Narouze, “Sonographically guided lumbar

spine procedures,” Journal of Ultrasound in Medicine , vol. 32, no. 7,

pp. 1109–1116, 2013.

[3] M. Chi and A. S. Chen, “Ultrasound for lumbar spinal procedures.”

Physical medicine and rehabilitation clinics of North America , vol. 29,

no. 1, pp. 49–60, 2018.

[4] R. Harel and N. Knoller, “Intraoperative spine ultrasound: application

and benefifits,” European Spine Journal , vol. 25, no. 3, pp. 865–869,

2016.

[5] C. F. Baumgartner, K. Kamnitsas, J. Matthew, T. P. Fletcher, S. Smith,

L. M. Koch, B. Kainz, and D. Rueckert, “Sononet: real-time detection

and localisation of fetal standard scan planes in freehand ultrasound,”

IEEE transactions on medical imaging , vol. 36, no. 11, pp. 2204–2215,

2017.

[6] K.-V. Chang, M. Kara, D. C.-J. Su, E. G

¨

urc¸ay, B. Kaymak, W.-T. Wu,

and L.

¨

Ozc¸akar, “Sonoanatomy of the spine: A comprehensive scanning

protocol from cervical to sacral region,” Medical ultrasonography ,

vol. 21, no. 4, pp. 474–482, 2019.

[7] M. K. Karmakar and K. J. Chin, Spinal Sonography and Applications of

Ultrasound for Central Neuraxial Blocks . New York, NY: McGraw-Hill

Education, 2017. [Online]. Available: accessanesthesiology.mhmedical.

com/content.aspx?aid=1141735352

[8] M. Karmakar, X. Li, W. Kwok, A. M. Ho, and W. Ngan Kee,

“Sonoanatomy relevant for ultrasound-guided central neuraxial blocks

via the paramedian approach in the lumbar region,” The British journal

of radiology , vol. 85, no. 1015, pp. e262–e269, 2012.

[9] S. Ghosh, C. Madjdpour, and K. Chin, “Ultrasound-guided lumbar

central neuraxial block,” Bja Education , vol. 16, no. 7, pp. 213–220,

2016.

[10] M. Muir, P. Hrynkow, R. Chase, D. Boyce, and D. Mclean, “The

nature, cause, and extent of occupational musculoskeletal injuries among

sonographers: recommendations for treatment and prevention,” Journal

of Diagnostic Medical Sonography , vol. 20, no. 5, pp. 317–325, 2004.

[11] W. A. Berg, J. D. Blume, J. B. Cormack, and E. B. Mendelson, “Operator

dependence of physician-performed whole-breast us: lesion detection

and characterization,” Radiology , vol. 241, no. 2, pp. 355–365, 2006.

[12] G.-Z. Yang, B. J. Nelson, R. R. Murphy, H. Choset, H. Christensen,

S. H. Collins, P. Dario, K. Goldberg, K. Ikuta, N. Jacobstein et al. ,

“Combating covid-19—the role of robotics in managing public health

and infectious diseases,” 2020. JOURNAL OF L A TEX CLASS FILES, VOL. 14, NO. 8, AUGUST 2015

14

[13] K. Li, Y. Xu, and M. Q.-H. Meng, “An overview of systems and

techniques for autonomous robotic ultrasound acquisitions,” IEEE Trans

actions on Medical Robotics and Bionics , vol. 3, no. 2, pp. 510–524,

2021.

[14] K. Li, Y. Xu, J. Wang, and M. Q.-H. Meng, “Sarl: Deep reinforcement

learning based human-aware navigation for mobile robot in indoor

environments,” in 2019 IEEE International Conference on Robotics and

Biomimetics (ROBIO) . IEEE, 2019, pp. 688–694.

[15] S. Liu, Y. Wang, X. Yang, B. Lei, L. Liu, S. X. Li, D. Ni, and T. Wang,

“Deep learning in medical ultrasound analysis: a review,” Engineering ,

2019.

[16] H. Ryou, M. Yaqub, A. Cavallaro, F. Roseman, A. Papageorghiou, and

J. A. Noble, “Automated 3d ultrasound biometry planes extraction for

fifirst trimester fetal assessment,” in International Workshop on Machine

Learning in Medical Imaging . Springer, 2016, pp. 196–204.

[17] C. Lorenz, T. Brosch, C. Ciofolo-Veit, T. Klinder, T. Lefevre, A. Cav

allaro, I. Salim, A. T. Papageorghiou, C. Raynaud, D. Roundhill et al. ,

“Automated abdominal plane and circumference estimation in 3d us

for fetal screening,” in Medical Imaging 2018: Image Processing , vol.

10574. International Society for Optics and Photonics, 2018, p.

105740I.

[18] Y. Li, B. Khanal, B. Hou, A. Alansary, J. J. Cerrolaza, M. Sinclair,

J. Matthew, C. Gupta, C. Knight, B. Kainz et al. , “Standard plane detec

tion in 3d fetal ultrasound using an iterative transformation network,” in

International Conference on Medical Image Computing and Computer

Assisted Intervention . Springer, 2018, pp. 392–400.

[19] A. Alansary, L. Le Folgoc, G. Vaillant, O. Oktay, Y. Li, W. Bai,

J. Passerat-Palmbach, R. Guerrero, K. Kamnitsas, B. Hou et al. , “Au

tomatic view planning with multi-scale deep reinforcement learning

agents,” in International Conference on Medical Image Computing and

Computer-Assisted Intervention . Springer, 2018, pp. 277–285.

[20] H. Dou, X. Yang, J. Qian, W. Xue, H. Qin, X. Wang, L. Yu, S. Wang,

Y. Xiong, P.-A. Heng et al. , “Agent with warm start and active termina

tion for plane localization in 3d ultrasound,” in International Conference

on Medical Image Computing and Computer-Assisted Intervention .

Springer, 2019, pp. 290–298.

[21] C. Hennersperger, B. Fuerst, S. Virga, O. Zettinig, B. Frisch, T. Neff,

and N. Navab, “Towards mri-based autonomous robotic us acquisitions:

a fifirst feasibility study,” IEEE transactions on medical imaging , vol. 36,

no. 2, pp. 538–548, 2016.

[22] Q. Huang, B. Wu, J. Lan, and X. Li, “Fully automatic three-dimensional

ultrasound imaging based on conventional b-scan,” IEEE transactions on

biomedical circuits and systems , vol. 12, no. 2, pp. 426–436, 2018.

[23] G. Ning, X. Zhang, and H. Liao, “Autonomic robotic ultrasound imaging

system based on reinforcement learning,” IEEE Transactions on Biomed

ical Engineering , 2021.

[24] N. Siddiqui, E. Yu, S. Boulis, and K. E. You-Ten, “Ultrasound is superior

to palpation in identifying the cricothyroid membrane in subjects with

poorly defifined neck landmarks: a randomized clinical trial,” Anesthesi

ology , vol. 129, no. 6, pp. 1132–1139, 2018.

[25] C. Nadeau, H. Ren, A. Krupa, and P. Dupont, “Intensity-based visual

servoing for instrument and tissue tracking in 3d ultrasound volumes,”

IEEE Transactions on Automation Science and Engineering , vol. 12,

no. 1, pp. 367–371, 2014.

[26] R. Nakadate, J. Solis, A. Takanishi, E. Minagawa, M. Sugawara, and

K. Niki, “Implementation of an automatic scanning and detection algo

rithm for the carotid artery by an assisted-robotic measurement system,”

in 2010 IEEE/RSJ International Conference on Intelligent Robots and

Systems . IEEE, 2010, pp. 313–318.

[27] R. Droste, L. Drukker, A. T. Papageorghiou, and J. A. Noble, “Auto

matic probe movement guidance for freehand obstetric ultrasound,” in

International Conference on Medical Image Computing and Computer

Assisted Intervention . Springer, 2020, pp. 583–592.

[28] A. Hussein, M. M. Gaber, E. Elyan, and C. Jayne, “Imitation learning: A

survey of learning methods,” ACM Computing Surveys (CSUR) , vol. 50,

no. 2, pp. 1–35, 2017.

[29] F. Milletari, V. Birodkar, and M. Sofka, “Straight to the point: rein

forcement learning for user guidance in ultrasound,” in Smart Ultra

sound Imaging and Perinatal, Preterm and Paediatric Image Analysis .

Springer, 2019, pp. 3–10.

[30] H. Hase, M. F. Azampour, M. Tirindelli, M. Paschali, W. Simson,

E. Fatemizadeh, and N. Navab, “Ultrasound-guided robotic navigation

with deep reinforcement learning,” arXiv preprint arXiv:2003.13321 ,

2020.

[31] K. Li, J. Wang, Y. Xu, H. Qin, D. Liu, L. Liu, and M. Q.-H. Meng,

“Autonomous navigation of an ultrasound probe towards standard scan

planes with deep reinforcement learning,” in 2021 IEEE International

Conference on Robotics and Automation (ICRA) , 2021, pp. 8302–8308.

[32] A. Lasso, T. Heffter, A. Rankin, C. Pinter, T. Ungi, and G. Fichtinger,

“Plus: Open-source toolkit for ultrasound-guided intervention systems,”

IEEE Transactions on Biomedical Engineering , vol. 61, no. 10, pp.

2527–2537, 2014.

[33] Q.-H. Huang, Y.-P. Zheng, M.-H. Lu, and Z. Chi, “Development of

a portable 3d ultrasound imaging system for musculoskeletal tissues,”

Ultrasonics , vol. 43, no. 3, pp. 153–163, 2005.

[34] V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G.

Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski

et al. , “Human-level control through deep reinforcement learning,”

nature , vol. 518, no. 7540, pp. 529–533, 2015.

[35] M. Lin, Q. Chen, and S. Yan, “Network in network,” arXiv preprint

arXiv:1312.4400 , 2013.

[36] D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,”

arXiv preprint arXiv:1412.6980 , 2014.

[37] A. Karamalis, W. Wein, T. Klein, and N. Navab, “Ultrasound confifidence

maps using random walks,” Medical image analysis , vol. 16, no. 6, pp.

1101–1112, 2012.

[38] K. Simonyan and A. Zisserman, “Very deep convolutional networks for

large-scale image recognition,” arXiv preprint arXiv:1409.1556 , 2014.

[39] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, “Imagenet:

A large-scale hierarchical image database,” in 2009 IEEE conference on

computer vision and pattern recognition . Ieee, 2009, pp. 248–255.

[40] S. Virga, O. Zettinig, M. Esposito, K. Pfifister, B. Frisch, T. Neff,

N. Navab, and C. Hennersperger, “Automatic force-compliant robotic

ultrasound screening of abdominal aortic aneurysms,” in 2016 IEEE/RSJ

International Conference on Intelligent Robots and Systems (IROS) .

IEEE, 2016, pp. 508–513.

[41] J. Morimoto and K. Doya, “Robust reinforcement learning,” Neural

computation , vol. 17, no. 2, pp. 335–359, 2005.

[42] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural

computation , vol. 9, no. 8, pp. 1735–1780, 1997.