TCGA数据集介绍及数据下载指南（新手友好篇）

最新推荐文章于 2024-05-27 11:00:16 发布
最新推荐文章于 2024-05-27 11:00:16 发布
阅读量3.5w 收藏 326
点赞数 59
文章标签： 知识图谱 python 生物信息学 海量数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/didi_ya/article/details/120354536
版权

目录

一、TCGA数据集介绍

1.1 数据集介绍

TCGA（The cancer genome atlas，癌症基因组图谱）由 National Cancer Institute(NCI，美国国家癌症研究所) 和 National Human Genome Research Institute（NHGRI，美国国家人类基因组研究所）于 2006 年联合启动的项目， 收录了各种人类癌症（包括亚型在内的肿瘤）的临床数据，基因组变异，mRNA表达，miRNA表达，甲基化等数据，是癌症研究者很重要的数据来源。

1.2 File介绍

File目录下包含七类，分别是：

  • Data Category
  • Data Type
  • Experimental Strategy
  • Workflow Type
  • Data Format
  • Platform
  • Access

在这里插入图片描述

1.2.1 Data Category（数据类别）

  • simple nucleotide variation：简单核苷酸编译
  • copy number variation：拷贝数改变
  • transcriptome profiling：转录组分析
  • sequencing reads：测序读取
  • biospecimen：生物样本
  • clinical：临床
  • dna methylation：DNA甲基化
  • structural variation：结构变化
    等

1.2.2 Data Type（数据类型）

  • Annotated Somatic Mutation：注释体细胞突变
  • Raw Simple Somatic Mutation：原始简单体细胞突变
  • Aligned Reads：对其读取
  • Gene Expression Quantification：基因表达量化
  • Masked Annotated Somatic Mutation：掩盖注释体细胞突变
  • Gene Level Copy Number Scores：基因水平拷贝数分数
    等

1.2.3 Experimental Strategy（实验策略）

  • WXS：管道识别全外显子组测序
  • Targeted Sequencing：靶向测序
  • RNA-Seq：RNA测序
  • Genotyping Array：基因分型阵列
  • miRNA-Seq：miRNA测序
    等

1.2.4 Workflow Type（工作流类型）

  • DNAcopy：DNA拷贝
  • GENIE Simple Somatic Mutation：简单体细胞突变
  • GENIE Copy Number Variation：拷贝值变化
  • BCGSC miRNA Profiling：miRNA分析
    等

1.2.5 Data Format（数据格式）

  • txt
  • vcf
  • bam
    等

1.2.6 Platform（平台）

略

1.2.7 Access

  • controlled：受约束的
  • open：开放的
    controlled数据需要申请账号才可以下载，open数据不需要账号。

1.3 Cases介绍

Cases目录下包含11类，分别是：

  • Case ID
  • Primary Site
  • Program
  • Project
  • Disease Type
  • Gender
  • Age at Diagnosis
  • Vital Status
  • Days to Death
  • Race
  • Ethnicity
    在这里插入图片描述

1.3.1 Case ID（案例编号）

略

1.3.2 Primary Site（主要站点）

  • bronchus and lung：支气管和肺
  • breast：乳腺
  • hematopoietic and reticuloendothelial systems：造血和网状内皮系统
  • colon：结肠
  • ovary：卵巢
    等

1.3.3 Program（程序）

  • GENIE
  • FM
  • TCGA
  • TARGET
    等

1.3.4 Project（项目）

  • FM-AD
  • GENIE-MSK
  • GENIE-DFCI
  • GENIE-MDA
  • GENIE-JHU
    等

1.3.5 Disease Type（疾病类型）

  • adenomas and adenocarcinomas：腺癌
  • ductal and lobular neoplasms：导管和小叶肿瘤
  • epithelial neoplasms, nos：上皮性肿瘤
  • squamous cell neoplasms：鳞状细胞肿瘤
  • gliomas：神经胶质瘤
    等

1.3.6 Gender（性别）

  • female：女性
  • male：男性
  • unknown：未知
  • not reported：未报导
  • unspecified：不明确

1.3.7 Age at Diagnosis（诊断年龄）

略

1.3.8 Vital Status（重要状态）

  • not reported：未报导
  • alive：存活
  • dead：死亡
  • unknown：未知

1.3.9 Days to Death（死亡天数）

略

1.3.10 Race（人种）

  • white：白人
  • not reported：未报导
  • unknown：未知
  • black or african american：黑人或非洲人
  • asian：亚洲人
  • other：其他
    等

1.3.11 Ethnicity（种族）

  • not hispanic or latino：不是西班牙裔或拉丁裔
  • not reported：未报道
  • hispanic or latino：西班牙裔或拉丁裔
  • unknown：未知

二、数据下载指南

2.1 进入官网

官网链接：https://portal.gdc.cancer.gov/

在这里插入图片描述

2.2 点击进入“Repository”

进入“Repository”后先看右上角“Cart”处是否为“0”，不为零的话要先清除之前下载的数据，清除方法是选择“Cart”，然后点击右下角的“Remove From Cart”。
在这里插入图片描述

2.3 点击“Repository”

点击“Repository”，选择需要下载的样品信息“Cases”和需要下载的文件“Files”。
在这里插入图片描述
【注】：在下面的部分会对Files和Cases进行介绍。

2.4 下载临床信息

（这里以结肠癌coion为例）

在这里插入图片描述
在下拉框中选在需要下载的内容：
在这里插入图片描述
然后选择需要下载的文件“Files”，这里也可以再下拉框中根据自己需要的格式进行下载
在这里插入图片描述

2.5 将文件添加到“Cart”

点击“Add All Files to Cart”
在这里插入图片描述

2.6 进入“Cart”页面

进入“Cart”页面，选择要下载的格式进行下载
在这里插入图片描述

2.7 进行下载

一个是「Manifest」(一个txt文本，是数据下载入口，并不是数据本身)；
一个是左边的「Metadata」（这个下载之后是个json文件，是为了之后进行数据清洗作准备的）；

当然也可以直接从网站上直接下载数据，但这种方式的弊端就是不稳定，数据中断时无法续传；
在这里插入图片描述
可以点击Download——>Cart本地下载，也可以下载Manifest文件后用官方下载工具下载，如果数据是controlled并且用官方下载工具下载，需要下载token文件作为身份验证，这里不进行详细介绍。【说明：本地下载国内可能无法下载】

把文件下载到本地后，是这个样子：
在这里插入图片描述

三、下载数据

官网提供的下载工具Data Transfer Tool网址：https://gdc.cancer.gov/access-data/gdc-data-transfer-tool，选择相应版本即可下载。在这里插入图片描述
左侧为初始界面，右侧为UI可视化界面。

UI初始化界面如下：
在这里插入图片描述
选择manifest文件，点击下载即可开始下载。

UI可视化界面下载时如下：
在这里插入图片描述

下载完成后界面大致如下：
在这里插入图片描述

四、数据处理

4.1 样本名称转化为TCGA样本编号

数据下载完成后，还是一堆文件夹，接下来需要对数据进行处理。
json文件打开后，会发现每个样本名称跟它的TCGA样本编号被一个大括号所包含，形成一一对应的关系；
在这里插入图片描述
这里就需要利用python脚本把样本名与TCGA样本编号建立一个字典，然后进行逐一修改，代码如下：

import os
import json

#打开json文件夹；
file = open('E:/Wendy/Desktop/TEST/metadata.cart.2021-09-17.json', encoding='utf-8')
#读取json文件夹；
json_precess = json.loads(str(file.read()))
#创建空字典；
dict ={}
for i in json_precess:
    print(i['file_name'])
    print(i['associated_entities'][0]['entity_submitter_id'])
    dict[str(i['file_name']).strip('.gz')] =i['associated_entities'][0]['entity_submitter_id']
print(dict)


#mainfest文件路径；
path ='E:/Wendy/Desktop/TEST/test'
filelist = os.listdir(path)#mainfest子路径下的所有文件列表；
for file_one in filelist:
    file = path + '/' +file_one
    print(file)
    list = os.listdir(file)[0]
    print(list)
    if '.gz' in list:
        olddir = file +'/' +list#原来文件名
        newdir = file + '/' + dict[list.split('.gz')[0]] +'.gz'#新的文件名
        os.rename(olddir,newdir)#重新命名
    # olddir = os.path.join(path,file_one)
    # print(olddir)
    # filename =os.path.splitext(file_one)[0]
    # newdir = os.path.join(path,dict[file_one])
    # os.rename(olddir,newdir)名

4.2 数据合并

参考链接：
【1】http://www.yingbio.com/article-35507-199717.html
【2】https://blog.csdn.net/qq_35203425/article/details/80882988
【3】https://blog.csdn.net/weixin_42512684/article/details/89415482
【4】https://blog.csdn.net/weixin_42512684/article/details/90172633

wendy_ya
关注
  • 59
    点赞
  • 踩
  • 326
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 15
    评论
tcga数据下载_TCGA数据挖掘（二）：数据下载与整理
weixin_39850167的博客
11-19 3846
关于TCGA数据库中的数据下载，我们之前有介绍过R语言下载包：R语言TCGA-Assembler包下载TCGA数据，同时在介绍数据库的使用教程中也介绍了在线下载以及官方下载工具下载：TCGA数据库使用教程。在线下载以及官方下载工具下载的数据是分开的，每个样本的数据的独立的，需要自己合并，这需要会R，Python 或者 perl 等编程语言（文末补充内容介绍）。这里我们先介绍TCGAbiolinks...
tcga数据下载_TCGA数据库下载：多种方法及优缺点介绍
weixin_39770226的博客
11-19 3737
早就告诉圈内好友，我把自己的28篇TCGA教程的部分知识点录制成为了视频，虽然播放量很少，但是看过的朋友都说收获很大，而且还有专门的笔记系统性介绍自己学习的收获，今天我们就分享其中一位优秀学员的笔记：数据挖掘必看视频，实际上我发现很多人从我这里学习到知识点后刻意抹去我的存在，进行所谓的二次创作！也刻意不转发给身边有需要的朋友，我不是很能理解它们的意图！在TCGA数据库下载文件有很多种方法...
新版TCGA数据整理，通过R语言实现TCGA数据整理
04-05
新版TCGA数据的整理，将TCGA单个转录组数据整理成列为患者，行为基因的矩阵。可以通过修改参数整理Count、FPKM、TPM数据，根据自己的需要进行选择。
TCGA数据下载及全流程分析（更新中）
01-20
一、GDCRNATools包下载 首先下载R包 if (!requireNamespace(BiocManager, quietly = TRUE)) install.packages(BiocManager) BiocManager::install(GDCRNATools) 下载好之后运行，以COAD数据为例，下载： library(GDCRNATools) gdcRNADownload(project.id = TCGA-COADREAD, data.type = RNAseq, write.ma
TCGA 数据下载 —— TCGAbiolinks 简单使用
最新发布
dxs18459111694的博客
05-27 2454
前言数据查询harmonized 数据库1. 甲基化数据：复发肿瘤样本2. 查询甲基化和表达数据3. 查询原始数据获取 manifest 文件获取 ATAC-seq 数据数据下载与处理查询和下载数据GDCprepare下载 CNV 数据下载转录组数据下载 DNA 甲基化数据下载蛋白质组数据下载临床数据下载 SNV 数据下载单细胞数据是一个利用GDC API接口来查询、下载和分析TCGA数据库的数据的R包数据查询和下载数据的常规分析可视化该包可以从上安装稳定版本if (!或者从GitHub。
TCGA数据集介绍及数据下载
weixin_44192389的博客
06-07 7843
TCGA（The cancer genome atlas，癌症基因组图谱）由 National Cancer Institute(NCI，美国国家癌症研究所) 和 National Human Genome Research Institute（NHGRI，美国国家人类基因组研究所）于 2006 年联合启动的项目， 收录了各种人类癌症（包括亚型在内的肿瘤）的临床数据，基因组变异，mRNA表达，miRNA表达，甲基化等数据，是癌症研究者很重要的数据来源。File目录下包含七类，分别是：略Cases目录下包含1
TCGA/GTEx泛癌数据任意基因表达量展示
医学和生信笔记的博客
06-02 2657
有了泛癌的数据之后就可以进行各种分析了，当然这些都是在R语言的基础上进行的。如果你不会R语言，也可以通过各种各样的网页工具实现。我们今天就简单展示下任意基因在泛癌图谱中的表达量情况。TCGAGTExTCGA+GTEx的泛癌数据都整理好了，大家可以自己通过easyTCGA包实现1行代码整理，也可以直接在公众号后台回复获取整理好的数据。
TCGA 数据下载
Dargon2的博客
05-20 1277
TCGA TCGA 数据库是目前最大的癌症基因信息数据库，TCGA的全面不仅仅体现在众多癌型上，还体现在多组学数据，包括基因表达数据、miRNA表达数据、拷贝数变异、DNA甲基化、SNP。 数据下载 肿瘤研究经常需要下载相关数据，目前可以通过官网（http://www.cbioportal.org/）直接下载，或者xenabrowser 下载。 xena下载比较简单，选择需要研究的癌症种类，直接下载所需的文件就可以了。 https://xenabrowser.net/datapages/?hub=https
TCGA_测序数据下载
weixin_59289660的博客
03-21 2119
R包加载 library("TCGAbiolinks") 一、数据下载 1GDCquery筛选数据 query <- GDCquery(project = "TCGA-LIHC", data.category = "Transcriptome Profiling", data.type = "Gene Expression Quantification", workflow.t.
TCGA数据下载推荐：R语言easyTCGA包
weixin_49320263的博客
08-12 2777
TCGA数据下载推荐：R语言easyTCGA包
TCGA简易下载工具
08-31
该工具可以简化TCGA数据库的下载步骤，合并TCGA数据库中下载的文件
tcga官方下载工具
11-04
tcga官方下载工具 最近服务器不稳定 有时候下载很慢 如果很难下载可以试试从这里下载
TCGA-LGG-mRNA表达数据——低级别胶质瘤表达及临床数据集整理
04-10
TCGA-低级别胶质瘤数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
TCGA-KICH 癌症CT影像数据集数据集
07-03
TCGA-KICH癌症CT影像数据集是一个重要的医学研究资源，主要涵盖了肾细胞癌（Kidney Chromophobe Carcinoma）的临床与影像学信息。这个数据集是The Cancer Genome Atlas (TCGA)项目的一部分，该项目是由美国国家癌症...
TCGA-blca数据集
10-16
名称：TCGA-blca数据集 简介：包含所有blca样本与汇总sheet。 详情：同官方数据集，每个样本以独立文件形式储存，总目录下有所有样本的sheet汇总文件，有需要可以根据sheet文件汇总code。
傻瓜式快速下载TCGA数据（win x86版本）
08-16
本资源提供的是一款专为Windows x86系统设计的傻瓜式TCGA数据快速下载工具，名为"GDC Data Transfer Tool UI"，版本号为v1.0.0。这个工具简化了通常复杂的TCGA数据获取流程，使得研究人员和爱好者能够更便捷地获取所...
开源数据集资源汇总 数据集下载汇总
04-18
二、数据集类型及应用场景 1. **图像数据集**：如COCO（Common Objects in Context）用于物体检测、分割和识别；ImageNet用于图像分类，是深度学习领域的基准之一。 2. **文本数据集**：如IMDb电影评论数据集用于...
TCGA-BRCA-mRNA表达数据——乳腺癌表达及临床数据集整理
04-05
TCGA-BRCA数据集已经整理成LCPM格式，临床数据已经汇总整理。 LCPM格式即log2(CPM+1)格式，现在认为log2(TPM+1)和log2(FPKM+1)格式比较过时了。部分生信文章审稿人推荐使用此格式分析数据
TCGA 数据下载及处理R语言脚本
05-13
以下是TCGA数据下载及处理的R语言脚本： 首先，需要安装以下R包：TCGAbiolinks，tidyverse，ggplot2，survival，survminer。 ```R # 安装TCGAbiolinks包 if (!requireNamespace("BiocManager", quietly = TRUE)) install.packages("BiocManager") BiocManager::install("TCGAbiolinks") # 安装其他必要的包 install.packages(c("tidyverse", "ggplot2", "survival", "survminer")) ``` 接下来，下载TCGA数据。例如，我们下载肺癌（LUSC）的RNA-seq和临床数据。 ```R library(TCGAbiolinks) # Set working directory setwd("your_working_directory") # Download RNA-seq data query <- GDCquery(project = "TCGA-LUSC", data.category = "Transcriptome Profiling", data.type = "Gene Expression Quantification", workflow.type = "HTSeq - FPKM", legacy = TRUE, platform = "Illumina HiSeq", file.type = "results", experimental.strategy = "RNA-Seq") GDCdownload(query) # Download clinical data query <- GDCquery(project = "TCGA-LUSC", data.category = "Clinical", file.type = "xml") GDCdownload(query) ``` 接下来，我们可以将下载的RNA-seq数据导入到R中，并进行预处理。例如，我们可以通过log2转换标准化数据并删除低表达基因。 ```R # Load RNA-seq data LUSC_rnaseq <- GDCprepare(query, save = TRUE, save.filename = "LUSC_rnaseq") # Log2 transformation and normalization LUSC_rnaseq$log2 <- log2(LUSC_rnaseq$counts+1) LUSC_rnaseq_norm <- normalizeBetweenArrays(LUSC_rnaseq$log2, method = "quantile") # Remove low expressed genes LUSC_rnaseq_norm_filter <- LUSC_rnaseq_norm[rowSums(LUSC_rnaseq_norm > 1) >= 20,] ``` 最后，我们可以使用survival和survminer包对临床数据进行生存分析和可视化。 ```R # Load clinical data LUSC_clinical <- GDCprepare_clinic(query, clinical.info = "patient") # Merge RNA-seq and clinical data LUSC_data <- merge(LUSC_rnaseq_norm_filter, LUSC_clinical, by = "bcr_patient_barcode") # Survival analysis fit <- survfit(Surv(time, vital_status) ~ 1, data = LUSC_data) ggsurvplot(fit, data = LUSC_data, pval = TRUE, conf.int = TRUE) # Cox proportional hazards model model <- coxph(Surv(time, vital_status) ~ gene1 + gene2 + gene3, data = LUSC_data) summary(model) ```
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wendy_ya

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值