小罗碎碎念
这期推文会系统的介绍一下病理AI领域常用的标注工具——QuPath,一期推文讲不完这个工具的使用方法,因为它除了熟知的标注功能,还有很多其他的应用,所以我会准备一个系列推文,好好盘一盘这个工具。
后期会介绍如何利用扩展来充分利用QuPath(例如结合monai label使用),还会介绍如何集成Deep learning来加速我们的研究流程。
一、概述
第一篇推文将引导您完成使用QuPath的初步步骤,并介绍您开始使用时需要了解的主要功能、按钮和概念。
-
QuPath欢迎窗口:这是用户首次启动QuPath时见到的界面,通常提供了一些基本的引导信息或快捷入口。
-
打开整个切片图像:用户将学习如何导入并加载数字病理切片的全貌图像,这是进行图像分析的第一步。
-
查看图像属性:了解如何查看和管理图像的基本信息,如分辨率、尺寸等,这对于后续的图像分析至关重要。
-
在图像间导航:用户将掌握在图像上移动视图,缩放和平移等基本操作,以便更好地观察和分析图像。
-
手动标注区域:学习如何手动选择并标记图像中的特定区域,这些区域可能对应于病理学家感兴趣的特定组织结构或特征。
-
检测细胞:介绍如何使用QuPath的算法自动检测图像中的细胞,这是病理图像分析中的关键步骤。
-
查看测量结果:展示如何查看对图像中对象进行的各种测量,例如细胞大小、形状等参数。
-
导出结果:用户将学习如何将分析结果导出为可读的格式,如CSV或Excel文件,以便于进一步的分析或记录。
-
保存和重新加载您的数据:最后,用户将了解如何保存当前的工作进度,并在需要时重新加载这些数据,确保工作的连续性和数据的安全性。
通过上述步骤,用户将能够熟悉QuPath的基本操作,并为进一步的高级分析打下基础。教程的设计旨在确保即使是初次使用者也能快速上手,并有效地利用QuPath进行病理图像的分析。
1-1:运行 QuPath
首次运行 QuPath 时,系统会向您显示欢迎窗口。如果您遇到问题或想了解更多信息,其中包含有用的链接。
对于那些喜欢在暗模式下使用软件(或想要使用自己的创意主题)的人来说,可以在这里进行更改。此外,还可以检查 QuPath 或扩展的更新,以确保您可以使用最新功能。
如果你想每次打开都看到欢迎界面,可以在Preferences
中进行设置。
1-2:打开图像
为了保证教程的统一性,这里使用官方提供的数据作为演示。
https://openslide.cs.cmu.edu/download/openslide-testdata/Aperio/
网页内容提供了一个由卡内基梅隆大学(Carnegie Mellon University, CMU)提供的Aperio扫描切片图像数据集。
这些数据集用于测试和展示OpenSlide库的功能。
- Parent Directory:这通常表示返回上一级目录的链接。
- CMU-1-JP2K-33005.svs:大小为126.42 MB,是一个以JPEG 2000格式、RGB色彩空间导出的CMU-1.svs图像。该图像是明场(brightfield)图像,并且是CC0许可,意味着可以自由使用,无需版权声明。
- CMU-1-Small-Region.svs:大小为1.85 MB,是从CMU-1.svs导出的一个小区域,以JPEG格式保存,足够小以至于只有一个金字塔级别。同样,它是CC0许可。
- CMU-1.svs:大小为169.33 MB,是一个明场JPEG格式的图像,也是CC0许可。
- CMU-2.svs:大小为372.65 MB,同样是CC0许可的明场JPEG格式图像。
- CMU-3.svs:大小为242.06 MB,也是CC0许可的明场JPEG格式图像。
- JP2K-33003-1.svs:大小为60.89 MB,是一个主动脉组织(Aorta tissue)的明场JPEG 2000格式图像,使用YCbCr色彩空间。该图像可以自由使用和分发,无论是否进行修改。
- JP2K-33003-2.svs:大小为275.85 MB,是一个心脏组织(Heart tissue)的明场JPEG 2000格式图像,使用YCbCr色彩空间。同样可以自由使用和分发,无论是否进行修改。
- index.yaml:大小为1.24 KB,包含切片的元数据信息。
这些数据集通常用于数字病理学研究,特别是在开发和测试图像分析算法时。由于它们是公开可用的,研究人员可以下载这些图像进行各种实验和验证他们的算法。
我们现在下载第三个图像。
下载完成以后,可以直接拖入Qupath的窗口。
1-3:查看图像属性
通常,QuPath 窗口左侧有一个面板:分析面板。如果没有,请单击工具栏上的分析面板按钮将其打开。
这里有几个选项卡,您稍后会遇到。现在,单击**“图像”**选项卡以获取与您的图像相关的属性表。
1-4:设置像素大小
如果存储在图像文件中,QuPath 应自动获取像素大小并将其显示在**“图像”**选项卡(“像素宽度”和“像素高度”)下。
如果没有,您可以通过双击任一行并输入正确的值来手动设置像素大小。
二、基本操作
2-1:放大和缩小
要在 QuPath 中放大和缩小图像,请使用鼠标滚轮(或触控板上的等效滚动动作)。
如果您符合以下条件,也可以跳转到特定的放大倍数:
- 右键单击图像,然后选择其中一个缩放选项,例如“显示”‣“100%”,或
- 双击工具栏上的小放大倍数,然后在那里输入一个值。
2-2:平移
要在 QuPath 中平移大图像,首先确保在工具栏中选择了**“移动”**工具。然后单击图像上的任意位置,并按住鼠标按钮拖动鼠标进行移动。
或者,您可以点击右上角的概览图像自动跳转到特定区域。
2-3:引入对象
理解对象是理解 QuPath 功能的关键。
您可以非正式地将对象视为QuPath 可以识别、分类和测量的图像中的某个东西。
目前,我们只关心两种对象:
- 注释:通常通过在图像上绘图来自己创建的对象
- 检测:QuPath 通常为您创建的对象,例如通过检测细胞(其中每个细胞都是一个对象)
通常,您最终会得到与较大区域(例如整个组织区域)相关的少量注释。但您可能会有数百万个检测。因此,QuPath 处理和显示它们的方式略有不同 - 但它们也有很多相似之处,因为您可以在图像上看到它们并进行测量。
2-4:绘制注释
通过在图像顶部绘制一个矩形来创建您的第一个注释对象。
首先,点击矩形工具 …/…/images/RECTANGLE_TOOL.png 来选择它,然后点击并拖动图像中的一个区域。释放鼠标按钮时,矩形应该仍然显示在图像顶部。
现在尝试使用椭圆 、多边形 和画笔工具 在图像的不同区域绘制几个不同形状的注释。
QuPath的大多数绘图工具工作方式类似(即选择工具,点击图像,拖动鼠标),但请注意多边形工具还允许您避免拖动,而是点击多边形的每个顶点位置。双击以设置最后一个点。
注意
默认情况下,QuPath会在使用除画笔工具以外的任何工具绘制注释后,自动切换回移动工具 。这是为了避免在您实际上只想在图像上移动或对现有注释进行操作时,意外绘制新的注释。画笔工具不同,因为它通常用于同时绘制或编辑多个区域,而经常需要重新激活它会让人感到烦恼。
如果您不喜欢这种默认行为,可以在“Preferences” 中通过选择“Return to Move Tool automatically”进行更改。
无论哪种方式,您都可以使用快捷键快速激活所需的工具,例如只需按M键即可激活移动工具,B键激活画笔工具,P键激活多边形工具等。您可以在“工具”菜单下看到所有绘图工具的快捷键。
从QuPath版本0.4开始,您还可以通过点击鼠标的中间按钮(或滚轮)快速在移动工具和您上次使用的绘图工具之间切换。
2-5:识别选择
您应该发现,当您绘制一个注释对象时,它最初是被选中的。在上面的屏幕截图中,选中的(多边形)注释显示为黄色 - 带有小方块手柄表示可以调整的顶点。
通常,您希望在进行某些操作之前确保对象已被选中。如果当前没有选中您想要的对象,请返回到移动工具 ,通过点击工具按钮或按M键,然后双击它以进行选择。
提示
默认情况下,选择显示为黄色。您可以在“Edit ‣ Preferences…”中更改此颜色。您还可以关闭使用选择颜色,在这种情况下,QuPath会寻找其他方式来显示对象是否被选中,例如通过加粗轮廓或围绕它绘制一个框。
提示
您可以按住Alt键点击它们来选择多个注释。
2-6:更改颜色和属性
现在返回分析面板(屏幕左侧),并点击注释标签。
您应该在这里看到您的注释列表。点击此列表是选择对象的一种方式。但如果您愿意,您也可以在这里设置注释的属性。
一种方法是选择右侧的预定义分类列表,并选择“Set class”。另一种方法是在列表中的任何注释上右键点击,然后选择“Set properties”以选择任意名称或颜色。
您可以使用N键来切换注释名称的可见性。
提示
您还可以通过选择注释并按Enter键来设置注释的属性。
2-7:查看测量结果
仍在分析面板中,在注释列表下方,您应该看到一个表格,显示当前选中对象的测量结果。如果您点击另一个注释,此表格应会自动更新。
2-8:删除注释
如果您绘制了一个不喜欢的注释,您可以从注释列表中删除它。或者,如果您正在查看器内部工作(移动、绘制注释),您可以简单地按Backspace或Delete键来删除当前选中的对象。
2-9:检测细胞
接下来,尝试在注释内部创建检测对象。首先,在图像中包含细胞的区域绘制一个注释——最好是相当小的区域,包含大约100个细胞。
运行“Analyze ‣ Cell detection ‣ Cell detection”命令。
这应该会显示一个令人望而生畏的参数列表,以适应不同图像的检测。
如果您愿意,可以探索这些参数,并在鼠标悬停在每个参数上以获取描述——但现在,您也可以忽略它们并使用默认值(这些默认值通常在各种图像上表现得相当合理)。
点击对话框底部的“运行”按钮。几秒钟后,您所选区域中的细胞应该会出现。这些细胞是您的第一个检测对象。
2-10:显示与隐藏
随着图像上对象数量的增加,可能会变得杂乱或令人困惑。有四个有用的工具栏按钮可以帮助自定义对象如何显示。
这些按钮允许您快速切换显示标记,以在查看分析数据和底层图像之间切换。
您还可以在图像上右键点击,进一步修改细胞显示的方式,即是否显示核或边界。
2-11:创建测量表格
您可以通过在工具栏中选择“Table”按钮来生成一个包含您对象测量结果的表格。然后,您可以决定表格是否包含注释或检测。
请注意,此表格与图像保持连接,允许您选择单个对象,或按列排序。您还可以为任何测量生成直方图,并将表格保存为CSV文件或复制其内容以粘贴到其他应用程序中,例如Excel。
2-12:结束
保存数据
完成分析后,您可以使用“File ‣ Save As…”来保存您的分析,或者在尝试打开另一幅图像或退出时响应任何保存提示。
这将保存一个.qpdata文件,这是QuPath用于存储对象和其他与图像相关的数据的主要文件格式。请注意,这实际上并不存储图像本身(这可能非常大),而是仅保存到它的链接。
重新打开数据
在大多数情况下,您可以像打开任何图像一样重新打开.qpdata文件——通过将其拖到QuPath查看器上,或者通过选择“File ‣ Open”。
没有必要首先打开您的原始图像。如果原始图像仍然在其原始位置,.qpdata文件中的链接将自动用于打开它。但是,如果图像被移动,QuPath将显示一个对话框,提示您选择新的图像位置。
三、注释图像
在QuPath中绘制感兴趣区域(ROIs)是一项常见的任务。用途包括:
- 测量长度或面积
- 定义应应用分析的区域,例如细胞检测
- 为分类器选择训练区域
3-1:主要工具
矩形工具
最基本的绘图工具是矩形工具。在图像中点击起始点,然后拖动鼠标到所需矩形对角线的另一端,然后释放。在绘制矩形时按住Shift键将形状约束为正方形。
如果您想围绕整个图像绘制一个矩形,请使用“Objects ‣ Annotations… ‣ Create full image annotation”。
椭圆工具
椭圆工具的工作方式与矩形工具类似,只是最终提供的是椭圆区域。在绘制椭圆时按住Shift键将形状约束为圆形。
如果您不想绘制矩形或椭圆,可以使用“Objects ‣ Annotations… ‣ Specify annotation”来精确设置坐标 - 从而对确切的尺寸和/或位置拥有更多控制。
线条工具
可以使用线条工具绘制线条,通过单击一次以确定起始点,然后双击以确定结束点。
多边形工具
多边形工具是绘制区域的好标准。它可以用两种方式使用:
- 点击每个顶点应该的位置
- 点击并拖动以绘制连续线(QuPath会在空间中分割顶点)
前者如果您以后可能想要编辑多边形,并将其顶点拖到不同位置,那么这是更好的选择。后者如果您手稳,并想要绘制更详细的区域,那么这是更好的选择。在绘制同一区域时可以切换。
如果您通过点击并拖动开始一个多边形,那么多边形在释放鼠标按钮时完成。否则,ROI在双击图像上的最终点位置处完成。
多边线工具
多边线工具与多边形工具类似,只是它不是封闭的;它有长度(像一条线),但没有面积。
画笔工具
画笔工具可能是我在注释区域时使用最多的绘图工具。它的原理很简单:每次点击画笔都会选择一个小圆圈,但通过在图像上拖动鼠标,就可以“绘制”区域。
这本来不会引起太大的兴奋,但QuPath中的画笔工具具有一些特别有用的功能:
- 画笔的大小会根据放大倍数进行调整。换句话说,如果您放大,画笔实际上会“绘制”小区域 - 而在放大倍数缩小时,它可以快速标记大区域。
- 在使用画笔时按住Alt键会使它“减去”区域……基本上就像一个橡皮擦(或画笔的等效物)。
- 画笔可以细化使用其他工具绘制的ROI。这可以在加法(正常)或减法(按住Alt键)模式下工作 - 使ROI可以更精确地清理,还可以在现有ROI中创建孔洞。
您可以在设置中更改画笔的绝对大小,也可以选择关闭根据缩放调整大小。
魔术棒工具
魔术棒工具就像是更有激情的画笔工具。它不仅限于只绘制一个小圆圈,而是会扩散成一个更大的圆圈 - 但仅在像素的强度与点击时的强度相似时持续这么久。
这为快速且具有高精度的注释区域提供了非常强大的方法……只要它们比周围区域暗得多或亮得多。它还可以很好地用于选择由更多空间包围的密集细胞区域。但如果对比度较低,魔术棒可能看起来会失控……在这种情况下,最好回到“标准”的画笔工具。
提示
像画笔工具一样,魔术棒工具也会根据放大倍数进行调整:放大倍数缩小时选择大区域,放大倍数放大时选择更小、更详细的区域。
此外,魔术棒工具受到任何已应用的颜色转换的影响——因此可以使用这些转换来调整图像,使感兴趣的区域具有更高的对比度。
3-2:锁定与解锁
注释可以是一项费力的过程。因此,丢失或意外编辑注释可能会相当令人沮丧。
为了帮助降低这种风险,注释可以被锁定或解锁。您可以通过右键点击选定的注释来访问这个功能。
3-3:设置属性
注释也可以设置属性。从分析的角度来看,这些属性中最重要的通常是分类。但从显示的角度来看,还有名称和颜色属性。
您可以通过按Enter键快速为选定的注释设置这些属性。
名称可以在查看器中显示或隐藏,使用“View ‣ Show names”,或快捷键N。
四、手动计数
计数是病理学和生物图像分析中的常见任务。
本节描述了如何使用QuPath手动计数不同类型的细胞——在这里,阳性(棕色)和阴性(蓝色)肿瘤细胞经过Ki67染色。
本节中描述的工具可以用于所有类型的手动计数任务。然而,我们将回到“细胞检测”和“细胞分类”部分,展示如何在QuPath中使用更复杂的工具来自动化细胞计数任务的某些或全部。
4-1:选择区域
首先的任务是在切片中找到一个合适的区域,在该区域中应计数细胞,使用在“查看图像”部分中描述的控制器在切片中浏览。
完成此操作后,可以选择(但很有帮助)在图像上叠加一个网格,以协助在固定区域进行计数。这可以通过简单地点击显示网格的工具栏按钮来完成。
4-2:点击细胞
为了开始认真计数,请在工具栏中选择点工具Point tool。这将自动打开一个计数面板,其中包含一个单独的点注释列表。然后,您可以在图像上开始点击,每次点击都会创建一个点。
注意
在此阶段,您应该只点击同一类细胞(例如阳性细胞)。
在您点击了一段时间后,您可能希望开始计数另一类细胞(例如“阴性”)。在计数面板中按添加按钮将开始一个新的注释来收集您的新点集,但您可能希望更清楚地区分点。
您可以通过双击计数面板中的条目,并设置更详细的名字和颜色来实现这一点。无论何时在图像上点击,您都会向列表中选定的条目添加点。
4-3:保存与导出
一旦您完成计数,您可能只需要从列表中读取点的数量。如果您像往常一样保存图像数据,点将包含在.qpdata文件中,如果需要,可以以这种方式恢复。这是如果您想在QuPath中继续处理数据时首选的保存方法。
但是,如果您希望将所有点的坐标导出以在其他地方导入,您也可以在计数面板中选择“ Save points”选项。
这将保存坐标以简单的制表符分隔格式,这可能有助于将数据导入到其他软件应用程序中。
4-:两个重要提示
有两件事可能会真正减慢您使用QuPath的速度:
- 通过文件选择器打开图像和项目
- 在菜单中寻找命令
这两者都不必要!
拖放
QuPath支持的多数文件都可以通过将它们拖放到主窗口顶部来简单地打开。这包括:
- 项目(.qpproj文件或整个文件夹)
- 图像
- 脚本
命令列表
您需要记住的最重要快捷键是Ctrl + L。这会打开命令列表(也位于“View ‣ Command List”下)。
然后,您可以开始键入您想要查找的任何内容的名称,并且只有匹配的命令会在您键入时显示。您可以以两种方式运行命令:
- 使用鼠标,通过双击
- 使用键盘,通过使用箭头键选择命令,然后按Enter键
命令列表现在还包括了大多数命令的简要帮助文本描述。
提示
如果您发现自己想要反复运行相同的命令,请取消勾选“自动关闭”框以保持命令列表打开。