TCGA数据集介绍及数据下载

已于 2022-09-11 17:58:35 修改
阅读量6.9k 收藏 111
点赞数 5
分类专栏： 医学分析课题 文章标签： 知识图谱 人工智能
于 2022-06-07 17:01:19 首次发布
原文链接：https://blog.csdn.net/didi_ya/article/details/120354536
版权

目录

一、TCGA数据集介绍

1.1 数据集介绍

TCGA（The cancer genome atlas，癌症基因组图谱）由 National Cancer Institute(NCI，美国国家癌症研究所) 和 National Human Genome Research Institute（NHGRI，美国国家人类基因组研究所）于 2006 年联合启动的项目， 收录了各种人类癌症（包括亚型在内的肿瘤）的临床数据，基因组变异，mRNA表达，miRNA表达，甲基化等数据，是癌症研究者很重要的数据来源。

1.2 File介绍

File目录下包含七类，分别是：

  • Data Category
  • Data Type
  • Experimental Strategy
  • Workflow Type
  • Data Format
  • Platform
  • Access

在这里插入图片描述

1.2.1 Data Category（数据类别）

  • simple nucleotide variation：简单核苷酸编译
  • copy number variation：拷贝数改变
  • transcriptome profiling：转录组分析
  • sequencing reads：测序读取
  • biospecimen：生物样本
  • clinical：临床
  • dna methylation：DNA甲基化
  • structural variation：结构变化
    等

1.2.2 Data Type（数据类型）

  • Annotated Somatic Mutation：注释体细胞突变
  • Raw Simple Somatic Mutation：原始简单体细胞突变
  • Aligned Reads：对其读取
  • Gene Expression Quantification：基因表达量化
  • Masked Annotated Somatic Mutation：掩盖注释体细胞突变
  • Gene Level Copy Number Scores：基因水平拷贝数分数
    等

1.2.3 Experimental Strategy（实验策略）

  • WXS：管道识别全外显子组测序
  • Targeted Sequencing：靶向测序
  • RNA-Seq：RNA测序
  • Genotyping Array：基因分型阵列
  • miRNA-Seq：miRNA测序
    等

1.2.4 Workflow Type（工作流类型）

  • DNAcopy：DNA拷贝
  • GENIE Simple Somatic Mutation：简单体细胞突变
  • GENIE Copy Number Variation：拷贝值变化
  • BCGSC miRNA Profiling：miRNA分析
    等

1.2.5 Data Format（数据格式）

  • txt
  • vcf
  • bam
    等

1.2.6 Platform（平台）

略

1.2.7 Access

  • controlled：受约束的
  • open：开放的
    controlled数据需要申请账号才可以下载，open数据不需要账号。

1.3 Cases介绍

Cases目录下包含11类，分别是：

  • Case ID
  • Primary Site
  • Program
  • Project
  • Disease Type
  • Gender
  • Age at Diagnosis
  • Vital Status
  • Days to Death
  • Race
  • Ethnicity
    在这里插入图片描述

1.3.1 Case ID（案例编号）

略

1.3.2 Primary Site（主要站点）

  • bronchus and lung：支气管和肺
  • breast：乳腺
  • hematopoietic and reticuloendothelial systems：造血和网状内皮系统
  • colon：结肠
  • ovary：卵巢
    等

1.3.3 Program（程序）

  • GENIE
  • FM
  • TCGA
  • TARGET
    等

1.3.4 Project（项目）

  • FM-AD
  • GENIE-MSK
  • GENIE-DFCI
  • GENIE-MDA
  • GENIE-JHU
    等

1.3.5 Disease Type（疾病类型）

  • adenomas and adenocarcinomas：腺癌
  • ductal and lobular neoplasms：导管和小叶肿瘤
  • epithelial neoplasms, nos：上皮性肿瘤
  • squamous cell neoplasms：鳞状细胞肿瘤
  • gliomas：神经胶质瘤
    等

1.3.6 Gender（性别）

  • female：女性
  • male：男性
  • unknown：未知
  • not reported：未报导
  • unspecified：不明确

1.3.7 Age at Diagnosis（诊断年龄）

略

1.3.8 Vital Status（重要状态）

  • not reported：未报导
  • alive：存活
  • dead：死亡
  • unknown：未知

1.3.9 Days to Death（死亡天数）

略

1.3.10 Race（人种）

  • white：白人
  • not reported：未报导
  • unknown：未知
  • black or african american：黑人或非洲人
  • asian：亚洲人
  • other：其他
    等

1.3.11 Ethnicity（种族）

  • not hispanic or latino：不是西班牙裔或拉丁裔
  • not reported：未报道
  • hispanic or latino：西班牙裔或拉丁裔
  • unknown：未知

二、数据下载指南

2.1 进入官网

官网链接：https://portal.gdc.cancer.gov/

在这里插入图片描述

2.2 点击进入“Repository”

进入“Repository”后先看右上角“Cart”处是否为“0”，不为零的话要先清除之前下载的数据，清除方法是选择“Cart”，然后点击右下角的“Remove From Cart”。
在这里插入图片描述

2.3 点击“Repository”

点击“Repository”，选择需要下载的样品信息“Cases”和需要下载的文件“Files”。
在这里插入图片描述
【注】：在下面的部分会对Files和Cases进行介绍。

2.4 下载临床信息

（这里以结肠癌coion为例）

在这里插入图片描述
在下拉框中选在需要下载的内容：
在这里插入图片描述
然后选择需要下载的文件“Files”，这里也可以再下拉框中根据自己需要的格式进行下载
在这里插入图片描述

2.5 将文件添加到“Cart”

点击“Add All Files to Cart”
在这里插入图片描述

2.6 进入“Cart”页面

进入“Cart”页面，选择要下载的格式进行下载
在这里插入图片描述

2.7 进行下载

一个是「Manifest」(一个txt文本，是数据下载入口，并不是数据本身)；
一个是左边的「Metadata」（这个下载之后是个json文件，是为了之后进行数据清洗作准备的）；

当然也可以直接从网站上直接下载数据，但这种方式的弊端就是不稳定，数据中断时无法续传；
在这里插入图片描述
可以点击Download——>Cart本地下载，也可以下载Manifest文件后用官方下载工具下载，如果数据是controlled并且用官方下载工具下载，需要下载token文件作为身份验证，这里不进行详细介绍。【说明：本地下载国内可能无法下载】

把文件下载到本地后，是这个样子：
在这里插入图片描述

三、下载数据

官网提供的下载工具Data Transfer Tool网址：https://gdc.cancer.gov/access-data/gdc-data-transfer-tool，选择相应版本即可下载。在这里插入图片描述
左侧为初始界面，右侧为UI可视化界面。

UI初始化界面如下：
在这里插入图片描述
选择manifest文件，点击下载即可开始下载。

UI可视化界面下载时如下：
在这里插入图片描述

下载完成后界面大致如下：
在这里插入图片描述

四、数据处理

4.1 样本名称转化为TCGA样本编号

数据下载完成后，还是一堆文件夹，接下来需要对数据进行处理。
json文件打开后，会发现每个样本名称跟它的TCGA样本编号被一个大括号所包含，形成一一对应的关系；
在这里插入图片描述
这里就需要利用python脚本把样本名与TCGA样本编号建立一个字典，然后进行逐一修改，代码如下： 

import os
import json

#打开json文件夹；
file = open('E:/Wendy/Desktop/TEST/metadata.cart.2021-09-17.json', encoding='utf-8')
#读取json文件夹；
json_precess = json.loads(str(file.read()))
#创建空字典；
dict ={}
for i in json_precess:
    print(i['file_name'])
    print(i['associated_entities'][0]['entity_submitter_id'])
    dict[str(i['file_name']).strip('.gz')] =i['associated_entities'][0]['entity_submitter_id']
print(dict)


#mainfest文件路径；
path ='E:/Wendy/Desktop/TEST/test'
filelist = os.listdir(path)#mainfest子路径下的所有文件列表；
for file_one in filelist:
    file = path + '/' +file_one
    print(file)
    list = os.listdir(file)[0]
    print(list)
    if '.gz' in list:
        olddir = file +'/' +list#原来文件名
        newdir = file + '/' + dict[list.split('.gz')[0]] +'.gz'#新的文件名
        os.rename(olddir,newdir)#重新命名
    # olddir = os.path.join(path,file_one)
    # print(olddir)
    # filename =os.path.splitext(file_one)[0]
    # newdir = os.path.join(path,dict[file_one])
    # os.rename(olddir,newdir)名

4.2 数据合并

参考链接：
【1】http://www.yingbio.com/article-35507-199717.html
【2】https://blog.csdn.net/qq_35203425/article/details/80882988
【3】https://blog.csdn.net/weixin_42512684/article/details/89415482
【4】https://blog.csdn.net/weixin_42512684/article/details/90172633

LazyHaokj
关注
  • 5
    点赞
  • 踩
  • 111
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
癌症肿瘤基因突变解释数据集.7z
07-13
Personalized Medicine: Redefining Cancer Treatment Dataset 是一个对癌症肿瘤基因突变解释的数据集，其包含用于训练的基因突变描述文件和对基因突变进行分类的临床证据。 该数据集由 Kaggle 于 2018 年发布，相关数据均来自于 2017 年至 2018 年的 NIPS 2017 Competition。
TCGA-STAD-mRNA表达数据（TPM）-胃癌表达及临床数据集整理
01-18
需要自己变成log2(TPM+1)才能进行后续分析哦
TCGA-STAD-mRNA表达数据——胃癌表达及临床数据集整理
03-21
TCGA-STAD数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
TCGA_临床数据下载_全面数据
weixin_59289660的博客
07-19 4533
获取全面的TCGA临床数据，以及补充生存分析信息
零基础入门转录组分析——数据处理（TCGA数据库）
weixin_49878699的博客
01-07 2158
TCGA应该是肿瘤数据最权威的来源之一，但是从TCGA上下载数据集相对来说比较麻烦，因此出现了很多针对TCGA数据进行二次开发的衍生网站，就是很直观强大的一个在线网站，里面收录了众多数据库的数据集，其中就包括了TCGA数据集，并且是整合好的，可以直接用于分析。并且这个网站不仅能下载数据，还能进行在线分析，例如：KM分析，表达量分析等，详细情况可以参考，但是在这篇教程中仅介绍如何从UCSC上下载所需要的TCGA数据集，并且下载后在R中对数据集进一步处理成后续分析所要的形式。
TCGA数据库学习一：基本知识
weixin_73362123的博客
03-27 4415
参数默认为FALSE，下载GDC Data Portal(hg38）。这里小编的建议是，下载转录组层面的数据使用hg38，下载DNA层面的数据使用hg19，因为比如做SNP分析的时候很多数据库没有hg38版本的数据，都是hg19的。并不是所有数据都可以下载。测序数据分为四层：level1、level2、level3、level4，其中level3和level4都是开放下载的，level1是最原始的数据，level2是做了进一步处理的，这些数据一般是不开放的，需要申请才能下载。但现在已经更新了，只有。
利用TCGA数据库来做RNAseq的通用流程（很多注释版）
m0_73348945的博客
07-21 1773
TCGA里的数据怎么做RNAseq
TCGA数据库和GTEx数据库下载和表达矩阵整理
Laurus_Wang的博客
10-08 1220
整理TCGA和GTEx数据库，得到合并的表达矩阵
TCGA数据集介绍及数据下载指南（新手友好篇）
热门推荐
Wendy的博客
09-17 2万+
目录一、TCGA数据集介绍1.1 数据集介绍1.2 File介绍1.2.1 Data Category（数据类别）1.2.2 Data Type（数据类型）1.2.3 Experimental Strategy（实验策略）1.2.4 Workflow Type（工作流类型）1.2.5 Data Format（数据格式）1.2.6 Platform（平台）1.2.7 Access1.3 Cases介绍1.3.1 Case ID（案例编号）1.3.2 Primary Site（主要站点）1.3.3 Progra
linux下载TCGA数据,使用curatedTCGAData下载TCGA数据库信息好用吗
weixin_42514222的博客
05-12 247
好久没有写TCGA数据库教程了，因为TCGA计划早在2017年就陆陆续续停止了，我那个时候写了几百个教程并且录制了视频。安装和加载R包相信已经无需我多说了：BiocManager::install("curatedTCGAData")BiocManager::install("TCGAutils")library(curatedTCGAData)library(MultiAssayExperime...
TCGA-ESCA-mRNA表达数据——食管癌表达及临床数据集整理
04-05
TCGA-ESCA数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
TCGA-blca数据集
10-16
名称：TCGA-blca数据集 简介：包含所有blca样本与汇总sheet。 详情：同官方数据集，每个样本以独立文件形式储存，总目录下有所有样本的sheet汇总文件，有需要可以根据sheet文件汇总code。
脑肿瘤放射基因组分类的DICOM图像转换数据集
12-15
脑肿瘤放射基因组分类的DICOM图像转换数据集，本数据集为TFRecords文件，由RSNA-MICCAI脑肿瘤放射基因组分类数据集的DICOM文件转换而来。train文件夹有465个样本，valid文件夹有117个样本。每一个都有形状(128,128,32,4)。4种模式有64个切片。
TCGA-KICH 癌症CT影像数据集数据集
07-03
TCGA-KICH 癌症CT影像数据，旨在对各种类型的癌症诊治过程进行全程数字化的跟踪，以数字档案的形式记录检查结果、处方和疗效。
Crosshub:癌症基因组图谱（TCGA）项目数据集的多向分析-开源
04-29
Crosshub可以对癌症基因组图谱（TCGA）项目的RNA-Seq，miRNA-Seq和甲基化组数据进行多路分析：1.差异表达分析（基因，替代转录本和miRNA）2.调控性miRNA预测（TargetScan，DIANA microT ，mirSVR，PicTar，miRTarBase +共表达）3.调节性TF预测（ENCODE ChIP-Seq +共表达）4.甲基化分布分析5. RNA-Seq与临床（TNM，阶段，随访）的相关性分析生成Excel摘要。 有关详细信息，请参见手册或文章GS Krasnov等。 NAR 2016，Pubmed ID：26773058
TCGA-BRCA-mRNA表达数据——乳腺癌表达及临床数据集整理
04-05
TCGA-BRCA数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
深度学习每周学习总结P5（运动鞋识别）
qq_33489955的博客
04-19 971
数据导入及处理部分：本次数据导入没有使用torchvision自带的数据集，需要将原始数据进行处理包括数据导入，数据类型转换。划分数据集：划定训练集测试集后，再使用torch.utils.data中的DataLoader()加载数据.注意：与之前不同的是，本次的数据集是已经划分好的。模型构建部分：有两个部分一个初始化部分（init()）列出了网络结构的所有层，比如卷积层池化层等。第二个部分是前向传播部分，定义了数据在各层的处理过程。
《Vid2Seq》论文笔记
最新发布
Zssss12的博客
04-22 1323
在这项工作中，我们引入了Vid2Seq，这是一种多模态单阶段密集事件字幕模型，它在大规模可用的叙述视频上进行了预训练，Vid2Seq 架构使用特殊的时间标记(time tokens)增强了语言模型，使其能够同时预测同一输出序列中的事件边界和文本描述。这种统一的模型需要大规模的训练数据，这在当前的注释数据集中是不可用的。我们表明，通过将转录语音的句子边界重新表述为伪事件边界，并使用转录的语音句子作为伪事件字幕，可以利用未标记的叙述视频进行密集视频字幕。
r语言下载tcga数据
09-03
R语言可以通过使用TCGA数据门户（TCGA Data Portal）的API接口来下载TCGA数据。以下是一个简单的步骤指南： 1. 首先，你需要在R环境中安装并加载相关的包以使用API。可以使用`install.packages()`函数安装`httr`和`jsonlite`包： ```R install.packages("httr") install.packages("jsonlite") ``` 然后使用`library()`函数加载这两个包： ```R library(httr) library(jsonlite) ``` 2.接下来，你需要查找你感兴趣的TCGA数据集和相关的API链接。例如，如果你想下载TCGA的癌症基因表达数据，你可以去TCGA Data Portal网站上找到对应的API链接。 3. 使用`GET()`函数通过API链接获取数据。你可以使用`content()`函数将返回的数据转换为R中的可用格式（如数据框）。 ```R response <- GET("API链接") data <- content(response, as = "parsed") ``` 4. 根据你的需要，你可以进一步处理和分析这些数据。例如，你可以使用R中的数据处理和可视化包（如`dplyr`和`ggplot2`）来进行数据清洗、转换和展示。 需要注意的是，下载TCGA数据可能需要一定的时间和资源，特别是对于大型的数据集。此外，你还需要对下载的数据进行验证和质量控制，以确保数据的可靠性和准确性。 以上是一个基本的介绍和指南，希望能对你下载TCGA数据提供一些帮助。详细的操作和具体的代码可能因所需的数据和API链接而有所不同，请根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值