【翻】Pill Detection Model for Medicine Inspection Based on Deep Learning

paper: Pill Detection Model for Medicine Inspection Based on
Deep Learning
基于深度学习的药品检验药丸检测模型

0 Abastract

本文提出了一种深度学习算法，使用有限的训练数据可以提高药丸识别性能，当在有多药丸的图像中检测单个药丸时，通常要使用来自学习阶段的多个药丸图像。然而，当要识别的药丸类型的数量增加时，图像中的药丸组合会以指数形式增加。为了在包含多个药丸的图像中检测单个药丸，我们首先提出了一种有效的数据库扩展方法。扩展的训练数据被用来提高检测性能。我们提出的方法尽管成像和数据集大小有限，但我们提出的方法比现有算法的性能提高了很多。我们提出的方法将有助于最大限度地减少在检测配药时出现的问题，如生产力损失和人为错误。
Keywords: deep learning; Mask R-CNN; pill detection; data augmentation; object region; object class

1. Introduction

药品处方和库存管理是药品安全调配的重要环节，及时准确地调配药品是药品安全调配的关键。在大医院里大约有1000种药片。患者使用的药丸根据患者的改善程度而改变。在许多现有的医院和药房中，药剂师根据处方手动分类和包装药丸，这是一个耗时的过程。此外，简单的重复性任务会导致疲劳，从而导致在药丸分拣期间犯错误;这种情况可能导致医疗事故。

近年来，自动化设备，如自动药物分发机[1-3]，已迅速在药房和医院广泛推广，用于执行多种分发任务，如药丸的分拣和包装。自动药物分发机是一种设备，根据从计算程序输入的处方，对药物进行分类和包装。然而，自动分发机还需要一种检查已制备产品的功能，因为存在误配的风险。使用数字相机的视觉检查方法被广泛采用。这种视觉检查方法采用两种分析形式。首先，有一种基于规则的分析方法，可以比较和分析产品的特征[4]。第二种分析方法涉及将相似性与参考图像进行比较的模板[5-7]。最近，基于深度学习的对象检测算法已被开发和研究[8-11]。

模板匹配方法是一种用于在输入图像中找到与参考图像最相似区域的方法。用于比较输入图像和参考图像的方法可分为两类：基于像素和基于形状的匹配方法。基于像素的匹配方法计算参考图像和输入图像像素之间的差异。其代表性方法包括平方差和归一化互相关[12,13]。基于像素的匹配方法对于由相机在拍摄时的抖动导致的模糊等扭曲具有鲁棒性。然而，基于像素的方法对于检查对象尺寸和旋转的变化不够有效，因为它计算像素之间的差异。

基于形状的匹配方法是一种从参考图像中提取测试对象的感兴趣区域（ROI），并将其与输入图像进行比较的方法。基于形状的匹配方法不使用参考图像的所有像素，而仅使用代表性特征，并且在检查对象的尺寸和旋转变化方面非常有效。与基于像素的匹配方法相比，基于形状的匹配方法在处理光照变化时更为优越。其代表性方法包括尺度不变特征变换和包含在MVTec HALCON库中的基于形状的匹配方法[14–16]。

深度学习技术是一种基于数据进行自主学习和判断的人工神经网络技术。这项技术在物体检测领域表现出色。物体检测是指一种方法，它不仅可以确定图像中是否存在对象，还可以确定对象的类型和位置。代表性的深度学习方法包括"You Only Look Once"（YOLO）和基于区域的卷积神经网络（R-CNN）[17,18]。为了提高深度学习中的检测性能，科学家使用各种方法，如数据处理、损失函数改进、卷积层控制和激活函数[19–23]。与使用单一卷积神经网络（CNN）结构不同，通常使用包含颜色、形状和差异图像的复杂结构[24]。然而，尽管深度学习在检测性能上表现出色，但它需要大量的训练数据。即使具有卓越的检测性能，也需要大量的数据来进行训练。因此，需要付出大量努力来创建非公开的新数据。因此，研究如何有效扩展少量数据是非常重要的。

在本文中，我们提出了一种区域深度学习算法regional deep learning algorithm，可以在学习药丸检测时使用有限的训练数据来提高检测性能。所提出的方法旨在检测多个药丸的图像中各个药丸的位置和类型。通常情况下，当在一张包含多个药丸的图像中成功检测到其中的某一个药丸时，这张图像也会被用于训练模型的学习阶段。然而，在分发的药物情况下，随着检测目标类型的增加，可以在一幅图像中组合的情况数量呈指数增长。为解决这个问题，所提出的方法在生成训练数据时，通过仅捕获单个药丸的图像来限制数据。为了提高局部检测性能，采用基于Mask R-CNN的两步检测方法。在第一步中，我们旨在检测图像中包含的药丸数量和面积，而不考虑药丸的类型。在第二步中，在将第一步中检测到的药丸与背景分离后，检测相应药丸的类型。由于这些训练数据仅由单个药丸组成，因为药丸已从背景中分离出来，所以可以用于第二步的学习。因此，即使药丸的类型增加，也很容易获取训练数据，因为只需考虑个别药丸的数据。最后，还应用了后处理算法，如图像旋转，以进一步提高第二阶段药丸的检测性能。所提出的药丸学习和检测算法在受限的图像和数据集大小情况下表现出比现有算法更高的检测性能改进。这有望提高自动设备（例如自动药物分发机）的性能，并减小问题（例如生产率损失和人为错误）。

2. Mask R-CNN

Mask R-CNN是Faster R-CNN的扩展模型，它是一种实例分割算法，可以同时预测包围框（用于确定现有对象的位置）和对象区域的掩码（Mask）。图1展示了图像分割和目标检测的示例。图1a是一个输入图像，包含四种类型的药丸和一个背景。图1b显示了语义分割的结果。图像被划分为两个区域，即背景和药丸。所有药丸属于一个单一实体。图1c显示了目标检测的结果，可以看到每个药丸的位置通过包围框被检测到。图1d显示了实例分割的结果。实例分割是语义分割和目标检测的组合，与语义分割不同，每个药丸作为一个独立的实体被视为一个单独的对象。这意味着实例分割不仅可以确定物体的位置，还可以为每个物体生成一个独立的掩码，以区分不同的物体实例。

图2展示了Faster R-CNN和Mask R-CNN的结构。Faster R-CNN包括：(i) 区域建议网络，用于预测边界框；(ii) RoIPool，用于提取边界框内的特征图；(iii) 边界框的多类别分类和回归学习。Mask R-CNN基于Faster R-CNN的结构，同时进行了每个感兴趣区域（ROI）的二进制掩码学习，与类别分类和边界框回归学习一起进行。这意味着Mask R-CNN不仅可以识别对象的类别和位置，还可以为每个对象实例生成一个二进制掩码，以精确地表示对象的形状和位置。这使得Mask R-CNN适用于实例分割任务，即同时检测和分割多个对象实例。

Mask R-CNN的RoIAlign是一种用于解决在Faster R-CNN的RoIPool中出现的感兴趣区域（ROI）和特征图位置之间差异的算法。图3显示了RoIAlign的结构。在训练期间，RoIAlign用于计算损失，其计算如下：
$$L=L_{cls}+L_{box}+L_{mask}$$

分别代表了类损失，检测框损失，二进制掩码的平均交叉熵损失。

3. Mask R-CNN–Based Pill Inspection Model

通常情况下，为了在多个药丸图像中检测单个药丸，训练数据图像需要包含多个药丸。此外，需要为每个图像定义药丸的位置和类别。然而，随着药丸类型的增加，可能的组合数量迅速增加，因此捕捉训练数据和为每个图像标记药丸类别变得复杂。因此，我们提出了一种方法，可以有效地检测包含多个药丸的图像中的单个药丸。通过为每个药丸类别学习仅包含一个药丸的图像，可以检测到单个药丸。图4显示了所提出的药丸学习和检测方法的进展。所提出的方法包括四个步骤。第一步是预处理学习，用于检测药丸区域的单一类别学习。第二步是数据标记过程。第三步是多类别药丸检测学习，用于确定第一步中检测到的药丸的类型。第四步是药丸检测过程。药丸检测的学习分为两个步骤。在第一步中，将多个药丸的图像用作检测药丸区域的训练数据。在第二步中，将单个药丸的图像用作多类别训练数据。

3.1. Single-Class—Based Pill Area Detection Learning

单一类别的药丸区域检测学习旨在准确检测图像中药丸的位置。这个学习模型用于在标签自动化和多类别药丸的检测过程中将药丸与背景分离。为了准确检测图像中药丸的各个位置，使用包含多个药丸的图像以及与每个图像相对应的二进制掩码图像。不管药丸的类型如何，将它们都匹配为一个类别（“药丸”）。

图5显示了生成的图像。药丸的区域以像素为单位表示，不考虑药丸的颜色和形状。药丸区域检测的训练是为了在检测药丸时检测单个药丸的位置和面积。这个检测过程作为药丸检测的预训练进行一次。

• (a) 图像中的外部矩形是边界框，用于标示整个物体的位置。
• (b) 图像中的内部实线表示检测到的药丸区域，即具体药丸的位置。
• © 描述了包括药丸数量、检测得分以及边界框位置在内的检测信息的裁剪图像。

这种图像处理通常用于目标检测和实例分割任务，以标示图像中的物体位置和相关信息。

3.2. Data Labeling and Automatic Generation of JSON Files

数据标注指的是使用数据处理工具对数据进行分类和转换，以训练深度学习模型。对于基于图像的目标检测，需要训练图像以及每个图像对应的物体位置坐标。Mask R-CNN需要表示物体形状和位置坐标的多边形坐标。为了创建这些多边形坐标，需要使用视频标注工具，以显示图像中每个物体的多边形坐标和类别名称。然而，使用这些工具需要相当多的时间和精力。为了减少损失，我们需要一种自动化数据标注的方法。为了实现自动化，我们提出了一种使用第3.1节中给出的单一类别药丸区域学习模型来检测药丸区域，并将检测到的区域转换为多边形坐标的方法。我们还提出了一种自动将坐标和图像信息转换为JSON文件的方法。

图6展示了所提出的数据标注和JSON文件生成过程。JSON文件中存储的数据包括每个图像的文件名和药丸区域的多边形坐标。
数据标注和JavaScript对象表示法（JSON）文件创建的过程如下：

(a) 数据标注过程：这一部分描述了数据标注的过程，包括使用自动化方法检测药丸区域并将其转换为多边形坐标。

(b) JavaScript对象表示法结构：这一部分描述了JSON文件的结构，其中包括每个图像的文件名和相应药丸区域的多边形坐标。JSON是一种常用的数据交换格式，通常用于存储和传输数据。

自动化的过程包括以下步骤：区域检测、二值化、区域膨胀、轮廓提取以及JavaScript对象表示法（JSON）文件生成。区域检测过程使用一步学习模型选择药丸的区域，二值化用于扩展检测到的区域并提取轮廓。药丸区域的膨胀过程用于在训练中包括更多药丸的边缘信息（阴影区域），从而提高检测性能。在扩大区域时，为了将扩大区域的中心与实际药丸的中心匹配，图像是基于检测到的药丸区域的中心进行放大的，使用以下公式：
在这个描述中，D(x, y)代表了一个放大后的图像，其尺寸与T(x, y)相同，而T(x, y)是输入图像。参数sx和sy表示应用于膨胀的比率；膨胀比率对sx和sy都设置为1.2。参数xc和yc表示药丸区域的重心。N表示满足T(x, y) = 255的像素数。

接下来的步骤是从扩大后的区域提取轮廓，然后将其转换为多边形坐标。为了从二进制图像中提取多边形坐标，使用了OpenCV库的findContours函数。最后，将每个图像的数据标签保存为JSON文件。在这一步骤中，通过将训练数据转换为JSON文件并存储该文件，降低了数据容量。这个JSON文件包括了图像和位置信息。

3.3. Multi-Class—Based Pill Label Detection Learning

多类别药丸标签检测学习需要一个专门用于分类和检测的模型。Mask R-CNN是Faster R-CNN的后继模型，在[28]中分析的药丸检测模型中表现最佳。Mask R-CNN具有实例分割功能，可以以像素表示检测到的对象的区域。所提出的学习模型使用仅包含一颗药丸的训练图像，以及包含药丸区域多边形坐标的JSON文件作为输入数据。药丸区域的数据是使用第3.1节中给出的药丸区域检测模型获取的。获取的数据通过数据标注和第3.2节中描述的JSON文件自动生成算法转换为JSON文件。

此外，在训练期间进行了曝光和旋转增强以补充不足的数据。对于数据增强，使用Python库"imgaug" [29]，并在训练期间将图像以任意角度从-180°到+180°进行旋转。最后，使用单个药丸图像进行多类别学习。图7显示了多类别药丸检测的训练过程。
图7显示了使用Mask R-CNN进行药丸检测的训练过程。药丸轮廓分析是使用自动数据标注算法和旋转图像来生成标签数据的过程。旋转图像用于验证数据。在数据分类步骤中，图像数据被分类为训练数据和验证数据集。这个过程用于训练和验证模型，以确保其在检测药丸时的性能。

图8和图9展示了two-step模型的必要性。图8显示了使用只包含一颗药丸的图像作为训练数据来训练模型的结果。在这种情况下，模型表现出良好的性能，可能是因为它已经学会了在孤立情况下检测单个药丸。这种方法在提高检测精度方面非常有效，特别是当图像中存在邻近药丸时，如前面的解释所述。

图8展示了使用不同训练数据进行训练的模型的检测结果：

(a) 使用单一类别训练的模型的结果。

(b) 使用多个类别训练的模型的结果。

这些结果显示了在多药丸图像中使用不同类型的模型进行检测的效果。在单一类别训练的模型中，可能只能检测到其中一颗药丸。而在多类别训练的模型中，能够检测到多个不同类型的药丸。这强调了使用多类别训练数据的重要性，以提高模型的性能，特别是在包含多个药丸的图像中。

图9. 有邻近药丸和没有邻近药丸的结果：

(a) 由于邻近药丸而未检测到的药丸的图像。

(b) 在移除邻近药丸后，未检测到的药丸被检测到的图像。这强调了在多药丸图像中，通过删除周围的药丸，可以有效提高检测性能。

图 9a 清楚地显示，有两颗药丸未被检测到，而另一颗药丸则被过度检测到。此时，为了检查相邻药丸的影响，我们删除了 DW、LOX 和 T19 这三种药丸，如图 9 所示次进行测试。图 9b 显示了结果。之前未检测到的 CO 和 NGP 这两种药片（见图 9a）被检测到了，因此，为了有效地采用通过使用只存在一片药片的图像而学习到的模型，有必要在检测过程中去除周围的
因此，要有效地采用通过使用只有一颗药丸的图像所学习到的模型，就必须在检测过程中去除周围的药丸，从而创建只有一颗药丸的图像。为此，我们采用了单类药丸区域检测和多类药丸检测的两步法。

3.4 pill detection Process

3.4.1 Optimization of Area Dilation in Detecting Multi-class Pills

这部分涉及前景-背景分离。当药丸与背景分离时，检测到的区域会以一定的百分比进行膨胀，以包括更多药丸的边缘信息。图10显示了根据膨胀比例得到的图像。图10a和10b显示了在将每个检测到的区域膨胀10%和20%后的多类别药丸检测模型的检测结果。在图10a中，一些药丸小于用于学习的区域，因此发生了未检测现象。而在图10b的右下图像中，当区域以20%的速率膨胀时，包括了一部分邻近的药丸，导致了误检。为解决这个问题，需要使用额外的后处理算法。
图 10. 根据第二阶段检测中的稀释率得出的结果图像：
（a）10% 面积稀释率的结果；(b) 20% 面积稀释比的结果。

3.4.2 Post-Processing Algorithm to Enhance the Multi-Class Detection Performance

在使用旋转增强进行多类别药丸检测模型训练时，对于某些角度，未进行检测。为解决这个问题，我们添加了一种方法，当未检测到药丸时，通过旋转输入图像重复检测。图11显示了旋转输入图像前后的检测结果。图11a显示了在检测到药丸区域后，将药丸与背景分开的图像，以及在药丸分类期间未检测到的结果。图11b显示了将图11a的图像旋转45°后的多类别检测结果。与图11a不同，我们可以看到药丸被准确检测到。如果在图10b中出现多个结果，只选择具有最大面积的结果。用于改善多类别检测性能的后处理步骤如下：

1. 药丸区域检测后进行20%膨胀。

2. 当检测到多颗药丸时，选择具有最大面积的药丸。

3. 当未检测到药丸时，从1°到45°执行逐步旋转检测。
   图11. 根据第二阶段检测中的旋转得到的图像：

(a) 在旋转之前未检测到药丸（‘DW’）的图像。

(b) 在旋转后检测到未检测到的药丸（‘DWP’）的图像。

4. Result

4.1 PIll area Detection Experiment

第一阶段是一个用于检测图像中药丸数量和药丸区域的模型，与药丸类型无关。因此，在学习时，参数被设置为单一的“Pill”类别，不根据药丸类型进行分类。

图12和图13是为了提高第一阶段药丸区域检测性能而进行的实验。图12显示了在第一阶段模型训练期间，仅使用一颗药丸作为训练数据的图像。在图12中，我们使用了六种不同类型的药丸作为训练数据。每个图像包含一颗药丸，摆放在不同方向和位置。每个图像通过相机的曝光合并功能以不同曝光进行两次拍摄，总共使用了600张图像进行学习。在训练期间没有使用数据增强，训练周期固定为100。图12a显示了训练数据集，图12b显示了区域检测的结果。图12b显示了过度检测，即检测到的区域比某些药丸的实际区域大。为解决这个过度检测问题，重新使用包含多颗药丸的图像对药丸区域检测模型进行了重新训练（参见图13）。

图13a显示了用于训练的部分图像。这些图像包含六种不同类型的药丸，每个图像包含五到六颗药丸，并且药丸的位置排列各不相同。每个图像通过相机的曝光合并功能以不同曝光进行两次拍摄，总共使用了50张图像进行训练。每个图像的多边形坐标是手动标注的。在训练期间没有使用数据增强，训练周期固定为20。图13b是药丸区域的检测结果。在图13b左侧的图像中，所有药丸的位置都得到了准确显示。在图13b右侧的图像中，对于没有用于其他背景和学习的药丸，药丸区域得到了准确显示，没有出现过度检测或未检测。
图12. 使用单颗药丸图像训练数据集的检测结果：

(a) 由单颗药丸图像组成的训练数据集。

(b) 多颗药丸的检测结果。图12b显示了多颗药丸的检测结果，包括过度检测，即检测到的区域比实际药丸的区域大。
图13. 使用多颗药丸图像训练数据集的检测结果：

(a) 由多颗药丸图像组成的训练数据集。

(b) 多颗药丸的检测结果。在图13b的右侧图像中，药丸区域得到了准确显示，没有出现过度检测或未检测的情况。

4.2 Pill Label Detection Experiment

对于two-step多类别药丸检测，生成了27种不同类型的药丸（包括10种白色药丸）的训练数据。训练数据包括每个图像的单颗药丸图像和表示药丸区域的多边形坐标。在拍摄学习视频时，相机的快门速度被调整，以同时拍摄具有不同曝光量的图像，同时为每个拍摄改变了药丸的位置。药丸的位置在物理上进行了更改，例如左右翻转、45°单位旋转以及上、下、左、右和对角线八个方向的移动。为了弥补学习中不足的数据，图像被以从-180°到+180°的任意角度旋转，总数据的30%用于验证。

两步学习模型基于Mask R-CNN [30]。输入图像大小为1024×1024，颜色空间为RGB。批处理大小为4，学习率为0.01。使用ResNet50作为网络的骨干。在Windows 10操作系统上，还使用了Python 3.6、Tensorflow 1.14和Keras 2.1.3框架。

与彩色药丸不同，白色药丸的误检数量随着类别的增加而增加。表1显示了误检结果。对于侧面拍摄的白色药丸，即使肉眼也难以区分圆形和椭圆形。由于相对不足的数据，出现了过拟合。因此，为了提高白色药丸的检测性能，在拍摄白色药丸时，额外拍摄了侧面的图像。此外，拍摄方向在四个对角线方向和45°角度，与以前相比，侧面训练数据的数量增加了一倍。通过将拍摄背景更改为反射率为50%的灰色（N5），白色药丸之间的边界得以很好地区分。表2显示了最终的拍摄条件以及训练和测试设置。
图14和图15展示了所提出的两步学习模型的性能。图14展示了在检测多类别药丸时未使用后处理的结果，图15展示了应用后处理的结果。表3显示了图14和图15的数值结果。根据区域扩展和检测改进后处理，精度和准确度值在小于500个epochs的学习范围内提高了10-16%。后处理模型在300个epochs时表现最佳。在60个epochs时，准确度低于精度，因为存在FN案例，而在100个epochs以上，不再出现FN案例，因此准确度和精度得分相同。在表3中，我们使用了两个评估指标，即精度和准确度，以根据epoch比较性能。

表4和表5展示了有无后处理的情况下，药丸正面和侧面位置的检测结果。总体而言，药丸正面图像的检测率高于侧面图像。表5的结果显示，有后处理的性能优于表4的结果，而没有后处理。最后，表6显示了根据捕获条件1和2（Set 1和Set 2）的变化的侧面图像的检测率。通过额外采集白色药丸的侧面数据，我们确认Set 2的检测性能高于Set 1。检测比率由OK /（OK + NG）表示。表7表示了没有和有后处理的提出方法的计算时间。用于测试的图像数量为50，药丸数量为202。没有后处理的情况下，202颗药丸的计算速度为98.70秒，有后处理的情况下为108.11秒。每颗药丸的平均计算时间分别为0.49秒和0.54秒。

我们将所提出的方法与YOLOv3 [31] 进行了比较。 YOLOv3的训练数据包括单个药丸图像，测试时使用多个药丸图像，没有提出的前景-背景分离和后处理。 YOLOv3的训练和测试所使用的图像与所提出的方法相同。 输入图像的尺寸为416×416，颜色空间为RGB。 批处理大小为64，学习率为0.001。 其他参数和数据增强选项使用默认值。 训练设置为10,000次迭代，这个迭代大约相当于880个epochs。 表8显示了YOLOv3和所提出方法的结果。 YOLOv3的精度高于所提出的方法，但由于所提出方法的FN为0，所以YOLOv3的准确度低于所提出的方法。 因此，就检测性能而言，所提出的方法优于YOLOv3。

5. Discussion

药丸区域的检测用于确认要检查的图像中的药丸数量和位置，使用了一个由单一类组成的学习模型。为了在单一类中进行有效的学习，训练数据包括从由多个随机药丸组成的图像中获取的不同曝光级别的图像。结果显示，各种类型的药丸的位置和数量都得到了准确的检测。
第二阶段的学习模型对第一阶段学习所检测到的药丸类别进行分类。与第一阶段学习模型不同，第二阶段的训练数据使用了每次拍摄一个药丸的图像。这可以最小化随着多个药丸组合的拍摄而增加的数据集数量，因为随着类别的增加，数据集数量也会增加。

在使用多个药丸的实际图像进行分类检测实验时，确认了单一药丸提取和检测后处理算法可以解决许多非检测、错误检测和过度检测现象，这些现象是由于多药丸数据与使用单一药丸捕获的训练数据之间的差异而发生的。

6. Conclusions

本文提出了一种深度学习算法，可以提高基于有限训练数据的检测性能，以及一种用于附加药丸识别的有效数据库扩展方法。所提出的算法旨在在多个药丸中检测单个药丸。为了最小化学习所需的数据，生成训练数据时采用的是仅包含一个药丸（而不是多个药丸）的图像。对于药丸检测，我们提出了一个具有两步结构的模型，用于药丸区域检测和多类药丸检测。此外，我们添加了单一药丸提取和检测后处理，以提高检测率。本研究提出了一种有限药丸识别方法，可应用于各种领域缺乏训练数据的环境条件下的各种对象检测技术。

然而，获取学习和测试图像的实验环境存在固定的限制，需要在各种环境下使用易于使用的拍摄工具，如手机，进行实验。此外，除了Mask R-CNN，还需要尝试应用最新的基于Transformer的技术，如MaskFormer和Trans4Trans，这些技术可以简化蒙版分类任务。

作者贡献：构思，S.-H.L.; 方法，S.-H.L. 和 H.-J.K.; 软件，H.-J.K.; 验证，S.-H.L., H.-J.K. 和 H.-G.K.; 正式分析，S.-H.L. 和 H.-J.K.; 调查，S.-H.L. 和 H.-J.K.; 资源，S.-H.L. 和 H.-J.K.; 数据整理，S.-H.L., H.-J.K. 和 H.-G.K.; 原始草稿准备，H.-J.K.; 写作—审阅与编辑，S.-H.L.; 可视化，H.-J.K.; 监督，S.-H.L.; 项目管理，S.-H.L.; 资金获得，S.-H.L. 所有作者都已阅读并同意发表的稿件。

资助：本研究得到了韩国国家研究基金会（NRF）的基础科学研究计划以及教育部资助的BK21 FOUR项目（NRF-2021R1I1A3049604，4199990113966）和由韩国政府资助的韩国电子和电信研究所（ETRI）的资助。[21ZD1140，开发大邱-庆北地区产业的ICT融合技术]。

IRB声明：不适用。

知情同意声明：不适用。

数据可用性声明：不适用。

利益冲突声明：关于本文的出版，作者宣布没有利益冲突。