【Colab代码调试】End-to-end reproducible AI pipelines in radiology using the cloud

于 2024-09-12 21:24:03 发布
阅读量687 收藏 28
点赞数 25
分类专栏： 医工AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/verse_armour/article/details/142172844
版权

文章目录


第一在Colab上运行代码： https://colab.research.google.com/github/ImagingDataCommons/idc-radiomics-reproducibility/blob/main/notebooks/hosny_processing_example.ipynb#scrollTo=1ZXwYFoEuRM6

报错MessageError: Error: credential propagation was unsuccessful

解决办法

from google.colab import auth
auth.authenticate_user()

报错：MessageError: Error: credential propagation was unsuccessful
解决办法：将google Colaboratory Runtimes可以访问的权限都勾选上，再运行就不会报错了
参考链接：https://github.com/googlecolab/colabtools/issues/4343
在这里插入图片描述
翻译：我在尝试只允许我认为可能需要的权限时遇到了同样的问题。一旦我点击了启用全部选项，它就起作用了。

原理

from google.colab import auth
auth.authenticate_user()

这段代码是用于在 Google Colaboratory（Colab）环境中进行用户身份验证的。Colab 是一个免费的 Jupyter 笔记本环境，由 Google 提供，允许用户编写和执行代码，同时利用 Google Cloud Platform 的计算资源。
from google.colab import auth：这行代码从 Colab 的库中导入了 auth 模块。auth 模块包含了用于处理身份验证和授权的功能。
auth.authenticate_user()：这行代码调用 auth 模块中的 authenticate_user() 函数。这个函数会启动一个身份验证流程，通常是通过弹出一个窗口来提示用户登录其 Google 账户。用户需要在这个弹出的窗口中输入他们的 Google 账户凭据。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

当用户成功登录后，Colab 笔记本将获得授权，可以访问那些需要用户权限的 Google 服务，比如 Google Drive。这样，用户就可以直接从 Colab 笔记本中读写 Google Drive 上的文件。

在执行需要访问用户个人数据或服务的代码之前，通常需要先执行这段身份验证代码。例如，如果你的 Colab 笔记本需要从用户的 Google Drive 中读取数据文件，或者需要将结果保存到用户的 Drive 上，那么在进行这些操作之前，你需要确保已经通过 auth.authenticate_user() 进行了身份验证。

找不到GPU

# check wether the use of a GPU was correctly enabled
gpu_list = !nvidia-smi --list-gpus

has_gpu = False if "not found" in gpu_list[0] else True

print(has_gpu)返回false

解决办法

在这里插入图片描述

没有配置硬件加速器为GPU当然找不到GPU啦~

在这里插入图片描述

关于文件结构

在这里插入图片描述

  • the download folder will store the .dcm files cross-loaded from the buckets, without a defined structure.
  • The sorted folder, on the contrary, stores the output of the sorting process through dicomsort (details on dicomsort follow later in the notebook).
  • The processed folder stores the result of the different processing and pre-processing steps, such as conversion from DICOM to NRRD and resampling
  • the model_input and cropped_masks folder store, respectively, the subvolumes the pipeline uses for predicting survival and the corresponding segmentation mask (exported mainly for visualization purposes)

在这里插入图片描述

RTSTRUCT是什么

RTSTRUCT：在医学影像领域，RTSTRUCT 是一种特殊的 DICOM (Digital Imaging and Communications in Medicine) 文件格式，用于存储放射治疗的结构集信息。

RTSTRUC一般包含：

  • 轮廓数据：医生或放射治疗师在影像上绘制的轮廓，用于定义肿瘤（GTV - 肿瘤体积）、临床目标体积（CTV - 临床目标体积）、计划目标体积（PTV - 计划目标体积）以及需要保护的正常组织和器官。
  • 剂量体积直方图：与结构集相关的剂量分布信息，用于评估治疗计划的质量。
  • 其他放射治疗相关信息：可能包括治疗计划的详细信息，如射束方向、能量、剂量等。

RTSTRUCT 文件使得放射治疗团队能够可视化和量化治疗区域，确保治疗的精确性，同时最大限度地减少对周围正常组织的损伤。这些文件通常与 RTDOSE（用于存储剂量分布的 DICOM 文件）一起使用，以实现放射治疗计划的优化。

nrrd是什么格式

NRRD（Nearly Raw Raster Data）是一种用于存储三维或多维影像数据的文件格式，它被广泛用于医学成像和科学可视化领域。NRRD格式由美国芝加哥大学（The University of Chicago）开发，特别适用于存储体数据（volume data），例如医学成像中的CT（计算机断层扫描）或MRI（磁共振成像）数据。

医学影像文件格式Value
NIfTI (.nii)神经影像学研究，功能磁共振成像（fMRI）、结构磁共振成像（sMRI）和正电子发射断层扫描（PET）。包含一个头文件（.nii）和一个数据文件（.img），头文件描述了数据的元数据，而数据文件包含了实际的图像数据。
NRRD (.nrrd)适用于各种类型的三维或多维图像数据，NRRD 文件包含一个文本头文件，描述了数据的维度、数据类型和元数据，后跟实际的图像数据。
DICOM (.dcm)医学影像的国际标准，广泛用于临床环境，包括放射科、核医学和心脏病学等，DICOM 文件包含图像数据和大量的元数据，如患者信息、扫描参数、设备信息等。

总结：

  • NIfTI 主要用于神经影像学研究，NRRD 更通用，适用于各种医学影像数据，而 DICOM 用于临床环境和医院信息系统。
  • NIfTI 和 NRRD 都支持多维数据，但 NRRD 更加灵活，可以处理任意维度的数据。DICOM 文件则包含更详细的临床和设备信息。
  • NIfTI 和 NRRD 支持数据压缩，有助于减少文件大小，而 DICOM 文件通常不压缩，以确保图像质量。
  • DICOM 文件包含最详细的元数据，包括患者信息和扫描参数，而 NIfTI 和 NRRD 则侧重于图像数据和相关的技术参数。

!gcloud config set project $GCP_PROJECT_ID

是将当前 Colab 会话的默认项目设置为你的 Google Cloud Platform 项目。这样，当你运行其他 gcloud 命令时，它们将与你指定的项目相关联。这在处理与特定项目相关的资源（如存储桶、数据集等）时非常有用。

WARNING: [verse.armour@gmail.com] does not have permission to access projects instance [idc-sandbox-000] (or it may not exist): The caller does not have permission. This command is authenticated as verse.armour@gmail.com which is the active account specified by the [core/account] property Are you sure you wish to set property [core/project] to idc-sandbox-000?

Do you want to continue (Y/n)? Y

Updated property [core/project].

报错Access Denied: User does not have bigquery.jobs.create permission

具体报错信息：
ERROR:403 POST https://bigquery.googleapis.com/bigquery/v2/projects/idc-sandbox-000/jobs?prettyPrint=false: Access Denied: Project idc-sandbox-000: User does not have bigquery.jobs.create permission in project idc-sandbox-000.
Location: None
Job ID: 9f15e4e0-2358-4e3b-bcee-c34ea7a0666e

# initialize this variable with your Google Cloud Project ID!
my_ProjectID = "idc-sandbox-000"

import os
os.environ["GCP_PROJECT_ID"] = my_ProjectID

!gcloud config set project $GCP_PROJECT_ID

解决办法

出现这个问题主要是因为我自己没有很清楚BigQuery的工作原理。
只需要在google cloud上面创建一个名为my_ProjectID的项目即可。
一开始google cloud上面没有这个项目，自然就没有访问权限了。创建一个即可。
tips:项目名称和项目ID不是一个东西。
在这里插入图片描述
代码里面应该改成项目ID。

在 Google Cloud Platform (GCP)中，当你创建一个项目时，你会给它指定一个项目名称，但系统还会自动生成一个唯一的项目ID。项目ID是用于程序化操作的标识符，它在整个Google Cloud 中必须是唯一的。项目名称可以更改，但项目ID一旦创建就不能更改。

# initialize this variable with your Google Cloud Project ID!
my_ProjectID = "idc-sandbox-000-435408"

import os
os.environ["GCP_PROJECT_ID"] = my_ProjectID

!gcloud config set project $GCP_PROJECT_ID

在这里插入图片描述
From the cohort DataFrame we parsed, we can get additional information on PatientID, SeriesInstanceUID, and so on. For example:

patients_list = np.unique(cohort_df["PatientID"].values).tolist()
print(patients_list[:5])

在这里插入图片描述

BigQuery访问公开数据集的原理

Google BigQuery 是 Google Cloud Platform (GCP) 上的一项服务，它专门用于数据仓库和分析。而一个 Google Cloud 项目（Project）是 GCP 的基本构建块，用于组织资源、启用服务和控制权限。

在某些开发环境（如 Google Colab 或本地开发环境）中，你可能需要设置一个默认项目，这样当你执行 BigQuery 操作时，系统知道应该在哪个项目上下文中执行。

!gcloud config set project $GCP_PROJECT_ID

数据集展示

display(subcohort_df.info())

在这里插入图片描述

display(subcohort_df.head())

在这里插入图片描述

  • Patient ID:患者的唯一标识符或医疗记录号
  • StudyInstanceUID:代表一个医学影像研究的唯一标识符，通常在DICOM（数字成像和通信医学）标准中使用。
  • SeriesInstanceUID:代表医学影像系列的唯一标识符，一个研究可能包含多个系列。
  • SOPInstanceUID:代表单一医学影像对象（如CT或MRI图像）的唯一标识符。
  • gcs_url:代表Google Cloud Storage（GCS）中的URL，这通常是指向存储在GCS上的医学影像文件的链接。

Use SimpleITK to inspect the resampled volumes

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

verse_armour
关注
专栏目录
【AI应用】MagicAnimate项目在COLAB在线部署----通过图片生成舞蹈视频
AnChenliang_1002的博客
02-20 736
本专栏主要记录人工智能的应用方面的内容，包括chatGPT、AI绘图等等；在当今AI的热潮下，不学习AI，就要被AI淘汰；所以欢迎小伙伴加入本专栏和我一起探索AI的应用，通过AI来帮助自己提升生产力；订阅后可私聊我获取 《从零注册并登录使用ChatGPT》《从零开始使用chatGPT的API；通过chatgpt-next-web部署自己chatGPT web网页；无需翻墙，无需服务器，无需域名；》 两份文档；通过这两份文档，每个人都能从零开始，成功注册chatGPT并能够随时随地的使用chatGPT。
Google Colab调试faster R-CNN之AI识虫部分
sakurasakura1996的博客
02-21 950
一、本地数据集的制作 首先从百度PandlePandle平台上获得了虫子的数据，原先已经在google colab上跑通了faster rcnn的源码，跑通的部分记录放在CSDN上面的。那部分的过程主要还是根据别人的教程一步一步来实现的，训练测试的数据是VOC2007 所以这里想自己将数据集格式改成VOC2007格式的，然后进行数据集的替换。然后训练测试来一发，看看自定义数据集的效果。 数据集的更...
Google colab 上使用TPU进行多核训练时该怎么调试（Pytorch）
qq_40418553的博客
09-01 1223
在Google colab上怎么进行调试；使用Pytorch时怎么使用TPU；使用TPU进行多核训练该怎么调试；运行过程中出现的问题。
Colab部署+微调ChatGLM
最新发布
i_want_money111的博客
09-06 874
只需要在加载模型的位置修改成微调后的路径即可 将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称，运行以下指令进行模型推理和评测： 改这一行即可：--model_name_or_path ./output/$CHECKPOINT/checkpoint-3000。nohup 是 no hung up的缩写，意思是不挂断。衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。
【Colab】Debug的方法 - PDB
iris_is_coding的博客
03-30 4083
在Colab上要开启Debug模式（PDB模式），需先在第一行输入： import pdb; pdb.set_trace() # debug mode 输入后执行该段程式码会得到一个可以输入的小框： 可以藉由下面这些命令去操作： 代码 解释 b / break 设定断点 c / continue 执行至断点 若无断点则直接全部执行 l / list 查看现在执行的程式码 s / step 进入函式 r / return 执行程式码直
学习使用Colab
czp_374的博客
12-06 450
Colab学习
carla-colab:如何在colab上运行CARLA模拟器
05-10
在Google Colab上运行CARLA模拟器 是用于自动驾驶研究的开源模拟器。 由于对硬件的要求很高，因此对于学生在colab上运行它可能很有用。 该存储库中的笔记本显示了如何在colab上运行和可视化CARLA。
YOLOv4-Cloud教程：此存储库将引导您逐步了解如何使用Google Colab在Cloud中使用Darknet构建和运行YOLOv4对象检测
02-15
YOLOv4-Cloud教程 该存储库将引导您逐步了解如何通过Google Colab使用Cloudnet中的Darknet构建，训练和运行YOLOv4对象检测。 要按照具体的教程进行操作，请将整个存储库上传到您的Google云端硬盘主文件夹。 然后...
Open in Colab:从GitHub和Gist在Colab中打开笔记本-开源
04-25
附加组件，在Gist和GitHub的IPython Notebook的标头中添加了“在Colab中打开”按钮，从Gist和GitHub的Colab在Julab中打开Jupyter Notebook，使用此浏览器WebExtension添加了按钮“在Colab中打开”
Colab使用教程（超级详细版）及Colab Pro/Pro+评测
张伟的专栏
04-22 1万+
Pro+增加到了3个高RAM会话和3个标准会话，在Pro基础上又翻了2.5倍，相当于免费版算力的9倍，Pro+的52GB的高RAM和Pro的25GB的高RAM相比也略有提升（10分钟的epoch能快2分钟左右）。在打开笔记本后，我们默认的文件路径是"/content"，这个路径也是执行笔记本时的路径，同时我们一般把用到的各种文件也保存在这个路径下。如果在有代码块执行的情况下继续点击其他代码块的“播放”按钮，则这些代码块进入“等待执行”的状态，按钮也就会进入转圈的状态，但外部的圆圈是虚线。
【Stable Diffusion】安装过程中常见报错解决方法
热门推荐
Bankcary的博客
06-15 5万+
转自：https://openai.wiki/stable-diffusion-error.html。
loadrunner性能测试详解
qq_40518671的博客
08-29 1762
概念：性能测试主要是通过自动化测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。 分类：性能测试；负载测试；压力测试（强度测试）；并发测试；配置测试；可靠性测试。 常用性能测试指标： 性能流程： 1、测试计划阶段：明确测试对象，定义测试目标，定义测试通过的标准，规划测试进度，规划测试人员（需求、开发、测试、运维和配置），申请测试资源，风险控制。 2、测试设计阶段：...
【ComfyUI】报错及解决记录
一个新人小白的自学python记录
02-07 3627
虽然不知道为啥，但是ControNet模型换了之后，报错就没了。
【巨巨巨无敌详细的colab使用教程（包含使用云谷歌网盘）】
m0_51560372的博客
03-28 1339
作为成绩保研的我，对技术类工具的掌握程度为0，联系完老师就让学pytorch。跟了李宏毅老师的课程，也有课后作业，发现根本看不懂，课上助教也讲了怎么使用colab，当时没学过，看视频跟了一遍就忘了。现在读研开始上手代码，经常用colab调试写的代码或者函数，想起来之前自己的不知所措，于是写下此篇教程，希望可以帮助到哪些刚入门的人。【前提】：电脑需要科学上网。
colab调试nerf：安装colmap问题总结
peachofchangan的博客
07-12 549
这一步出现问题，一步一步来，注意现在的位置，使用cd 调整，主要是cmake解决就可。
SMTP邮件服务器要求安全连接或客户端未通过身份验证的各个解决方案
DavidLiu的博客
11-25 2万+
SMTP 服务器要求安全连接或客户端未通过身份验证的各个解决方案(C#) 最近在做邮件发送接口 把遇到的问题和解决方法告诉大家 希望对了解邮件的人有所帮助 原程序部分代码如下 //设置邮件信息 发件人地址、收件人地址、标题、主题 MailMessage mail = new MailMessage("xxxxxxx@sina.com", "zzzzzzz@sina....
Faster RCNN的调试运行（Google Colab）
sakurasakura1996的博客
12-26 2396
Faster RCNN的调试运行（Google Colab） 在看了Faster RCNN的论文之后，还是很多不太懂，所以想着运行下看看，这下可给我难到了，本地没有算力，只有一个免费的google colab，然后就想着在上面运行试试，开始试着用tensorflow版本的，但是特么的一直配置不好，就很烦恼，最后直接搜索google colab上面怎么实现faster rcnn，找到了我的救世主哈哈...
colab加载google drive并且调试时跳过不运行
微电子学与固体电子学-俞驰
09-20 730
因为第一次肯定是需要加载google drive的． 但是后续我们希望不要再反复加载的情况下，依然可以＂一键运行所有代码＂ 那么怎么让程序跳过加载Google drive部分的代码呢？ 代码如下： try: print(drive) except: from google.colab import drive drive.mount('/content/drive') ...
Colab上tensorflow Faster-RCNN部署教程：从代码到实践
本文档详细介绍了如何在Google Colab环境下使用TensorFlow版本的Faster R-CNN进行对象检测。首先，它强调了在Colab环境中进行这个操作的优势，因为Colab提供了免费的GPU资源，这对于深度学习模型训练非常有利。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

verse_armour

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值