TCGA超过1G的病理wsi数据下载-gdc-client

已于 2023-12-23 21:23:35 修改
阅读量782 收藏 4
点赞数 2
分类专栏： 肿瘤生信分析 文章标签： 数据挖掘
于 2023-12-23 20:08:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hx2024/article/details/135173124
版权

使用网页端下载TCGA超过1G的病理wsi数据，数据下载到1G后就不能完整下载。遂采用gdc-client下载。

Win 环境下新建这个文件夹放在系统盘进行储存，否则会报错：ERROR: Unable to write state file: [WinError 17] 系统无法将文件移到不同的磁盘驱动器。好像是

TCGA数据集下载及gdc-client相关问题汇总_gdc client error-CSDN博客

gdc-client软件及环境

下载GDC Data Transfer ToolGDC (cancer.gov)

安装到自己需要的位置，英文路径，Windows需要进行环境变量配置
打开电脑控制面板——系统和安全——系统——高级系统设置——环境变量——Path——“加入你的gdc-client所在路径” （点击放置gdc-client的文件夹名复制即可），然后应用保存。

TCGA数据下载教程：使用官方gdc-client软件下载-CSDN博客

打开CMD命令行窗口输入  gdc-client -h  然后回车，成功将会显示：

gdc-client -h

Manifest及病理svs数据下载

将需要下载的数据从TCGA上加入购物车，然后下载Manifest.txt文件

将文件放置于配置环境变量及gdc软件的文件夹

然后右击选在→在终端中打开（cmd）输入“gdc-client download -m gdc_manifest自己的.txt”回车下载

gdc-client download -m gdc_manifest自己的.txt

现在即可下载超过1G的病理WSI文件。

接下来就可以使用qupath软件进行查看和分析

Projects — QuPath 0.5.0 documentation

TCGA的gdc-client的下载优化_gdc 下载没速度-CSDN博客

hx2024
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
TCGA数据库中WSI图像的切割
weixin_52486108的博客
04-17 4367
病理学WSI组织学图像的分割
gdc-client:GDC数据传输工具
05-15
GDC数据传输工具（gdc客户端） gdc客户端提供了超过GDC API的一些便利功能，该功能通过HTTPS提供常规的下载/上传。 构建gdc客户端 这个存储库的./bin目录中有一个名为package的bash脚本，它通过PyInstaller来构建gdc-client的单个可执行文件时，承担了大部分繁重的工作。 它将尝试根据uname猜测您的操作系统，并进行相应的构建。 在Windows上构建需要安装并使用其随附的git-shell。 这将提供在此存储库中运行bash脚本所需的足够的类Unix实用程序。 指示 # The script is currently location-dependant, so navigate to the bin directory. cd bin # Then just execute the package script. The result
linux下载TCGA数据,使用gdc-client批量下载TCGA数据
weixin_29209825的博客
05-12 648
欢迎关注”生信修炼手册”!GDC的在线下载功能只适用于下载小的数据集，当需要下载数据量较大的TCGA数据时，必须借助于GDC官方提供的客户端工具gdc-client。网址如下https://gdc.cancer.gov/access-data/gdc-data-transfer-tool该软件是一个命令行工具，支持windows, linux, mac OS多种操作系统，可以通过以下两种方法来下载...
TCGA数据库详解
小猪打呼噜
10-30 5万+
TCGA（The cancer genome atlas，癌症基因组图谱）由National Cancer Institute(NCI，美国国家癌症研究所) 和 National Human Genome Research Institute（NHGRI，美国国家人类基因组研究所）于 2006 年联合启动的项目，收录了各种人类癌症（包括亚型在内的肿瘤）的临床数据，基因组变异，mRNA表达，mi...
【TCGA】批量下载WSIs(GDC Transfer Tool-UI)
最新发布
派大欣的实验笔记
03-01 951
TCGA官网链接：https://portal.gdc.cancer.gov/由于目前TCGA改版了，如果不太适应新版本界面的，可以点击红色部分，回到第一版。下滑找到 “Data Transfer Tool”并点击。进入"Data Transfer Tool"子页面后，下滑找到 “GDC Transfer Tool page”并点击。进入“GDC Transfer Tool page”子页面后，下滑找到对应系统的下载文件列表。
TCGA数据下载教程：使用官方gdc-client软件下载
热门推荐
Mr番茄蛋的博客
07-02 5万+
前言 本教程涉及内容： 1. TCGA网页数据下载，检索方式 2. gdc-client软件安装和配置 3. 使用gdc-client下载TCGA数据 本教程使用原生态的TCGA官方数据下载方式，比使用第三方的工具具有数据更新快，真实的特点，当然如果觉得麻烦可以使用第三方的一些工具，单对于想要真正了解TCGA数据库的人，还是使用原生态的TCGA方式。 TCGA改版后，下载方式变得大为不...
TCGA-UCEC-mRNA表达数据-子宫内膜癌表达及临床数据集整理
01-18
需要自己变成log2(TPM+1)才能进行后续分析哦
TCGA-STAD-mRNA表达数据（TPM）-胃癌表达及临床数据集整理
01-18
需要自己变成log2(TPM+1)才能进行后续分析哦
Win10使用gdc-client下载TCGA数据集【安装使用教程】成功解决闪退问题！
weixin_45640009的博客
07-13 2347
在Win10环境中下载并配置gdc-client工具，并以TCGA白血病转录组学数据为例，讲解下载过程
医学图像处理之GDC数据库
weixin_45958695的博客
11-10 2678
医学图像处理之GDC数据库
TCGA数据库学习一：基本知识
weixin_73362123的博客
03-27 4769
参数默认为FALSE，下载GDC Data Portal(hg38）。这里小编的建议是，下载转录组层面的数据使用hg38，下载DNA层面的数据使用hg19，因为比如做SNP分析的时候很多数据库没有hg38版本的数据，都是hg19的。并不是所有数据都可以下载。测序数据分为四层：level1、level2、level3、level4，其中level3和level4都是开放下载的，level1是最原始的数据，level2是做了进一步处理的，这些数据一般是不开放的，需要申请才能下载。但现在已经更新了，只有。
TCGA的gdc-client的下载优化
XIAOFEI@IDO
02-11 1970
1、背景 最近，在使用TCGA数据，需要从TCGA下载数据。当数据文件数量较少的时候，为了偷懒（其实也麻烦），可以一个一个的下载。但又有时候为了获取更多的数据，我们可以通过 gdc-client 程序，基于manifest进行批量下载。 问题来了：采用gdc-client（linus）/ gdc-client.ext（Windows）download -m gdc-manifest.txt下载的时候，时常中断？？？ 2、解决办法 修改 gdc-client download 的配置文件。 2.1 查看默认配
dicomweb-wsi-viewer:基于 Google Cloud Healthcare DICOM API 的概念证明整个幻灯片成像查看器
05-29
DICOMweb WSI 查看器 该存储库包含由 DICOMweb 服务器提供支持的概念验证整个幻灯片成像查看器。 此特定工具使用 DICOMweb 实现。 注意：此查看器仅适用于整个幻灯片（即病理）图像。 对于使用 Healthcare API 的放射科查看器，请查看 Weasis ( )、OHIF ( )、eUnity ( ) 或 IMS ( ) 先决条件 您需要访问并创建了一个 DICOM 存储，其中包含一些 DICOM WSI。 访问 Cloud Healthcare API 后，您可以按照创建 DICOM 存储并上传一些示例 DICOM 图像。 要创建 DICOM WSI，您首先需要获取一些病理图像（ ），其中包含一些您可以使用的测试数据）并将它们转换为 DICOM。 要转换为 DICOM，您可以使用的 DICOMizer CLI 之类的工具。 入门 一旦你创建了
TCGA-THCA-mRNA表达数据-甲状腺癌表达及临床数据集整理
01-18
需要自己变成log2(TPM+1)才能进行后续分析哦
SLFCD:cameyon16和camelyon17挑战以及您自己的WSI数据项目的解决方案
05-08
SLFCD Supervised Learning Framework for Cancer Detection. 基于监督学习的癌症检测框架 , 该框架在根据全幻灯片癌症病理图像（Whole slide images, WSI）作为输入数据，实现了癌区域定位，以及基于WSI的图像分类。 如果本项目对您有所帮助，请给个star. ^.^ Read-only, 不做类似的项目了，仅仅做一个参考 基本概述 这个仓库主要包含了基于深度学习的癌症检测的源代码框架，开发用于从全幻灯片癌症病理图像（WSI）中识别癌转移。该框架成功应用于Camelyon‘16 grand challenge的数据集。我开发本项目主要是提供一个关于WSI检测的解决方案。 Notes extras/CNNRF 是使用keras训练的相近项目 Debug camelyon16 extract_feature_probs
下载TCGA工具
03-26
下载TCGA数据用，这个优点我觉得在于下载数据的实时性有保证，并且它也是从官网下载的，最主要它支持断点下载。。。就算你网再不稳定。。睡一觉总能下好了
生物信息学概论——聚类分析TCGA-BRCA数据.zip
07-05
利用R软件或其他数据分析语言，进行该数据的聚类分析。利用层次聚类，对该组数据样本按照基因表达水平进行聚类，看聚类效果如何。即是否能够按照基因表达水平，将病人进行分类。距离可以选择average。注，R中有相应...
TCGA-STAD-mRNA表达数据——胃癌表达及临床数据集整理
03-21
TCGA-STAD数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
如何利用多实例学习对WSI图像进行分割
07-10
利用多实例学习（Multiple Instance Learning, MIL）对WSI（Whole Slide Imaging）图像进行分割的一般步骤如下： 1. 数据准备： - 获取WSI图像数据集，其中每个WSI图像可能包含多个区域，每个区域可能包含多个实例（例如细胞）。 - 对每个WSI图像，标注出感兴趣区域（Region of Interest, ROI）以及相应的实例标签。 2. 特征提取： - 针对每个ROI，提取特征来表示该区域的视觉信息。常用的特征包括颜色直方图、纹理特征、形状特征等。 3. 实例级别标签生成： - 对于每个ROI，根据其中的实例标签生成一个实例级别的标签。有多种方法可用，例如：包含正样本的ROI标记为正例，不包含正样本但包含负样本的ROI标记为不确定例，不包含任何样本的ROI标记为负例。 4. 多实例学习模型训练： - 使用MIL算法进行模型训练。MIL是一种弱监督学习算法，其中每个训练样本都由一个或多个实例组成，并且样本级别的标签只有正例和负例。 - 常用的MIL算法包括经典的MIL算法、MIL with Multiple Instance Representation (MIL-MIR)等。 5. 分割预测： - 对于新的WSI图像，首先对其进行分割，得到多个ROI。 - 对于每个ROI，提取特征，并使用训练好的MIL模型进行预测。根据预测结果，可以得到每个ROI的实例级别的标签。 需要注意的是，WSI图像的分割是一个复杂任务，常常需要使用深度学习等方法，并结合大量的标注数据和计算资源来训练和优化模型。同时，还需要根据具体应场景进行一些调整和改进，以获得更好的分割效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值