生信小白菜之GEO数据库简介及数据获取方式

最新推荐文章于 2024-07-04 18:22:35 发布
最新推荐文章于 2024-07-04 18:22:35 发布
阅读量3k 收藏 27
点赞数 33
文章标签： 数据库 r语言 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyulu1998/article/details/136923147
版权

title: “Biotrainee Note7 GEO Entry Level”
author: “yuluyang”
date: “2024-03-15”

生信技能树数据挖掘课程笔记～小洁老师授课

主要内容

  • 介绍公共数据库的挖掘方法
  • 基因筛选的方法
  • 讲解象限图的意义
  • 介绍logFC的意义
  • 火山图范围及数据分析的意义
  • 讲解数据的主成分分析
  • 讲解实验设计的目的
  • 介绍数据挖掘的方法
  • 数据下载的方法及热图
  • 简单介绍数据下载方式
  • 关于数据赋值的问题
表达矩阵
  • 行是某一个基因在不同样本中表达量；列是某一个样本的不同基因表达量
数据库

不同数据库来源的数据读取方式可能存在差异
不用硬性规定一定是哪个数据库来源

  1. GEO
    GENE EXPRESSION OMNIBUS，基因表达数据库
    收录了世界各国研究机构提交的基因表达数据，主要包括肿瘤、非肿瘤、芯片、NGS、差异分析、分子验证等各种公开数据

  2. NHANES
    National Health and Nutrition Examination Survey，美国国家健康与营养调查
    一项基于全美各层次人群的横断面调查，旨在收集有关美国家庭人口健康、营养和社会学信息

  3. TCGA
    The Cancer Genome Atlas，肿瘤基因组图谱
    涵盖癌症病人各种各样的测序数据，如RNA sequencing、MicroRNA sequencing、DNA sequencing、SNP-based platforms、Array-based DNA methylation sequencing、Reverse-phase array

  4. ICGC
    International Cancer Genome Consortium，国际肿瘤基因组联盟
    与TCGA数据库类似之处：都进行多组学研究；不同之处：ICGC数据库的数据来源更加丰富，涵盖了多个国家和地区的数据，包括亚洲人的数据

  5. CCLE
    Cancer Cell Line Encyclopedia，癌症细胞系百科全书
    一个癌症细胞系数据库，内含超过1000种细胞系的mRNA、miRNA表达、外显子突变、H3组蛋白尾部修饰与部分代谢物丰度数据

  6. SEER(only WIN)
    The Surveillance, Epidemiology, and End Results Program，监测、统计流行病学和最终结果
    收录了美国约30％人口的癌症诊断、治疗和生存数据，在人群特征、病理、免疫组化、放化疗以及随访等多方面均有统计，以临床回顾性数据总结归纳

有什么类型的数据可以挖掘
  • 基因表达芯片
  • 转录组
  • 单细胞
  • 甲基化、拷贝数突变
  • 临床数据
  • …
当你有了一个表达矩阵该如何分析
  1. 数据下载
    GEO、TCGA有专属R包用于下载数据
  2. 差异分析
    芯片与转录组分析方法不相同哦
  3. WGCNA(加权共表达网络)
    一种能够将基因、样本、基因模块和生物性状相互关联起来的分析方法
  4. 富集分析
    两种方法：ORA、GSEA
  5. PPI网络(蛋白质互作)
  6. 预后分析
    不局限于肿瘤，只要是影响生存的疾病都可以

图表介绍

热图
  • 看差异基因
  • pheatmap包
  • 输入数据是数值型matrix/data.frame
  • 颜色变化是数值大小
  • 聚类树：层次聚类
散点图和箱线图 (单基因分析表达差异)
  • 表达的内容、意思相似
  • 箱线图输入数据要求
    是一个连续型向量和一个有重复值的离散型的量
    最大值、最小值是去掉离群值后计算出来的
  • 箱线图常用于比较单个基因在两组或多组间的表达量差异
  • 箱线图的5条线，从下至上依次代表数据’min’、‘25%’、‘50%’、‘75%’、'max’几个位置
    'min’和’max’是去掉了离群值后根据算法得出的结果
多基因用差异分析
  • 拿到差异分析的结果，最需要关注的几个值包括：logFC，P.Value，FDR
  • Pvalue即P值，因为基因和基因并不是相互独立的,通常都要进行校正来降低结果的假阳性
  • adj.P.Val、qvalue是校正后的P值，常用的校正方法为FDR校正
  • 火山图的横坐标通常是LogFC，纵坐标通常是-log10(qvalue)——即P值越小，这个值就越大
    原始Pvalue取值0.1、0.01、0.001在数轴上差距其实非常小，用log10转换来放大差异
  • logFC即log2(foldchange)差异倍数，Foldchange处理组表达量平均值/对照组表达量平均值 *用原始的foldchange描述上调方便[1,+∞)，下调不方便(0, 1)，绘制图片中上调占的空间太多而下调空间太少，所以一般会做log2`转换*
    ‼️处理和对照一定不能弄反
  • 运算一下就是：log2(x/y) = log2(x) - log2(y)，logFC>0即处理组表达量上升，<0即表达量下降
    log2(x/y) = 5是上调了2^5即32倍，log2(x/y) = -4是下调2^4即1/16
  • log2(x/y)的正常范围应该是0～20之间 （2^20=1048576）
    芯片差异分析的起点是一个取过log的表达矩阵，转录组、单细胞没有这个要求
    如果芯片数据VALUE值大于24，则需要自己取过log后再分析
  • 通常上调/下调基因的筛选条件：|logFC|>2，P<0.01（依此绘制虚线）
    当差异基因数量过多的时候，可适当缩窄筛选标准以获得相对适合数量的差异基因再进行下游的富集分析，比如要求’qvalue<0.001’，或’|logFC|>5’等
    当差异基因数量过少的时候，可适当放宽筛选标准，比如要求’qvalue<0.05’，或’|logFC|>1.5’等
    当Foldchange没有那么明显的时候，横轴可以直接选择展示Foldchange，不取log2
主成分分析
  • PCA样本聚类图
  • PCA中心思想是降维，把多指标转化为少数几个综合指标（覆盖大部分信息），即主成分dim1、dim2…（或称为PC1、PC2）
    不用刻意找出每个主成分具体是什么
  • 根据这些主成分对样本进行聚类，图上的点代表样本，点与点之间的距离代表样本与样本之间的差异
  • 在坐标轴上距离越远，说明样本差异越大；理想情况是同一分组聚成一簇（组内重复好），而组间中心点存在差距（组间差异大）
  • PCA的优点
    简化运算
    去掉数据噪音
    利用散点图实现多维数据可视化
    发现隐性相关变量

https://mp.weixin.qq.com/s/NR8Ou372l7Ule0lO6Hkpog

GEO背景知识+表达芯片分析思路
  • 官网首页有GEO2R，是它自带的分析代码
  • 官网首页’Browse Content’模块
    • 一个’Series’是一个独立的实验设计
    • 'Platforms’是测序平台
    • 'Samples’是涉及到的样本
  • GSM是用户提供到GEO的样本单位
  • GPL用户测定表达量使用的芯片/平台
    部分数据没有提供’gene symbol’，需要根据芯片编号找到二者的对应关系
  • GSE是完成的研究单位，包括研究描述、数据描述、总结分析等
    挖掘数据就找GSE
  • 芯片测序数据GSE名称Expression profiling by array
  • 单细胞/转录组测序数据GSE名称Expression profiling by high throughput sequencing
  • 芯片的表达矩阵下载位置
    • 页面下方Download family栏目下Series Matrix File点进去看见GSE000000 series matrix.txt.gz
  • 转录组/单细胞表达矩阵下载位置
    • 页面下方Supplementary file栏目下GSE000000 RAW.tar
  • 下载前先判断样本合不合格
    • 首先看样本量以及文件大小(至少>500k)
    • 再点进一个样本看看VALUE值，如果有一半是负值可能有问题
  • 下载哪些内容
    • 表达矩阵（列名是探针id，行名是样本名称GSMxxx）
    • 临床信息（分组信息）
      后续分析都是基于分组而非单个的样本
    • GPL编号（探针对应的基因注释，有些有GENE-SYMBOL就更简单）

如何下载表达矩阵

依旧是先装包
options("repos"="https://mirrors.ustc.edu.cn/CRAN/") # 设置镜像
if(!require("BiocManager")) install.packages("BiocManager",update = F,ask = F)
options(BioC_mirror="https://mirrors.ustc.edu.cn/bioc/") # # 设置镜像

cran_packages <- c('tidyr',
                   'tibble',
                   'dplyr',
                   'stringr',
                   'ggplot2',
                   'ggpubr',
                   'factoextra',
                   'FactoMineR',
                   'devtools',
                   'cowplot',
                   'patchwork',
                   'basetheme',
                   'paletteer',
                   'AnnoProbe',
                   'ggthemes',
                   'VennDiagram',
                   'tinyarray')  # `cran`里面的R包
Biocductor_packages <- c('GEOquery',
                         'hgu133plus2.db',
                         'ggnewscale',
                         "limma",
                         "impute",
                         "GSEABase",
                         "GSVA",
                         "clusterProfiler",
                         "org.Hs.eg.db",
                         "preprocessCore",
                         "enrichplot") # `Biocductor`里面的R包

for (pkg in cran_packages){                            # `quietly = T`的意思是不要返回`warning`
  if (! require(pkg,character.only=T,quietly = T) ) {  # 放进循环的时候`character.only=T`这句代码一定要记得带上 
    install.packages(pkg,ask = F,update = F)  # 为什么用`require()`而不用`library()`呢
    require(pkg,character.only=T)   # 遇到安装失败`library()`会报错，从而导致整个循环终止，而`require()`只会`warning`
  }
}


for (pkg in Biocductor_packages){
  if (! require(pkg,character.only=T,quietly = T) ) {
    BiocManager::install(pkg,ask = F,update = F)
    require(pkg,character.only=T) 
  }
}

#前面的所有提示和报错都先不要管。主要看这里
for (pkg in c(Biocductor_packages,cran_packages)){
  require(pkg,character.only=T) 
}
#没有任何提示就是成功了，如果有warning xx包不存在，用library检查一下。

#library报错，就单独安装。
用代码下载数据
# 下载前建议先清空环境
rm(list = ls())
# 打破下载时间的限制,改前60秒，改后10w秒
options(timeout = 100000) 
options(scipen = 20) # 不要以科学计数法表示

# 传统下载方式
library(GEOquery)
eSet = getGEO("GSE7305", destdir = '.', getGPL = F)

# 其他下载方式
## 1. 从网页上下载/发链接让别人帮忙下，放在工作目录里
## 2. 试试`geoChina`,只能下载2019年前的表达芯片数据
## library(AnnoProbe) 
## eSet = geoChina("GSE7305")   # 选择性代替`eSet = getGEO("GSE7305", destdir = '.', getGPL = F)`

# 研究一下这个eSet
class(eSet) # 返回结果`list`
length(eSet) # 长度是1，即只有一个元素的列表
## 当一个列表里面只放了一个元素，那么就不再需要列表这个外壳 

eSet = eSet[[1]] # 取出唯一的一个元素，这个代码只能运行一遍哦，不可以重复
class(eSet) # 返回结果`ExpressionSet` 
## 不认识的东东就`?`问下
## `ExpressionSet`是`Biobase`包里面规定的数据结构

只要最后数据在工作目录里即可，无所谓下载方式
‼️一个工作目录里面不要放两个数据集
R包里面不止有函数，还有它定义的数据类型
由R包作者定义的、以某种方式组织起来的、存放特定数据的数据结构

提取GSE内的信息
# 提取表达矩阵exp
exp <- exprs(eSet) # `exprs()`函数提取表达矩阵
dim(exp) # 查看表达矩阵维度
range(exp) # 看数据范围决定是否需要`log`，是否有负值、异常值

exp = log2(exp+1) # 由上一步决定需要`log`才`log` 
# 如果`log`出来所有值都在2-4，可能你取了两次或者这个数据本身就不需要取`log`
boxplot(exp,las = 2) # 通过箱线图看是否有异常样本
# 如果存在某一个样本值异常低，可以考虑剔除或者运行标准化代码
exp=limma::normalizeBetweenArrays(exp)

# 提取临床信息
pd <- pData(eSet)
# 阅读理解环节，把分组信息提取出来
## 只可意会不可言传，仔细读样本名称来确定分组

如果一个数据集有一半左右是负值，中位数在0左右，且所有数据集中在-5～5或-10～10，则不正常
如果一个数据集出现这个情况是不适合做差异分析的，需要从原始数据开始处理
如果不处理原始数据，那么这个数据集最多只能用来作热图和生存分析
仅有少量负值为正常

表达矩阵与临床信息对应
# 让exp列名与pd的行名顺序完全一致
# 即：表达矩阵的行名和临床信息的列名（样品名）一一对应
# 为了准确传递分组信息
p = identical(rownames(pd),colnames(exp));p # `identical()`判断是否一致
if(!p) {                                    # 一致的话`(!p)`就是`False`,那么后面的代码就不运行啦
  s = intersect(rownames(pd),colnames(exp)) # `intersect()`取交集 ## 非常重要的一个函数
  exp = exp[,s]                             # 表达矩阵按列取
  pd = pd[s,]                               # 临床信息按行取
}
提取芯片平台编号

gpl_number <- eSet@annotation;gpl_number  # 有些是用`@`,有些是用`$`
save(pd,exp,gpl_number,file = "step1output.Rdata") # 知道平台，后续才能知道探针注释
羊&鹿
关注
  • 33
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
零基础入门转录组分析-数据处理（GEO数据库-高通量测序数据）配套资源
04-24
零基础入门转录组分析——数据处理（GEO数据库——高通量测序数据） https://blog.csdn.net/weixin_49878699/article/details/136032388 教程配套的原始数据+代码+处理好的数据文件 已验证可以从头到尾正常运行，可放心食用
生信常见数据格式.pdf
03-28
生信常见数据格式.pdf生信常见数据格式.pdf生信常见数据格式.pdf生信常见数据格式.pdf生信常见数据格式.pdf生信常见数据格式.pdf
GEO数据库学习一(简介 数据下载 芯片知识)
weixin_73362123的博客
11-27 1万+
NCBI Gene Expression Omnibus（GEO）是一个存储各种高通量实验数据的公共数据库。这些数据包括基于单通道和双通道微阵列的实验，检测mRNA，基因组DNA和蛋白质丰度，以及非阵列技术，如基因表达系列分析（SAGE），质谱蛋白质组学数据和高通量测序数据。
GEO数据库
weixin_44572283的博客
04-19 1466
GEO数据库 （一）GEO数据库的基本知识 网址：https://www.ncbi.nlm.nih.gov/geo/ platform 主要是看芯片id 和gene symbol 一一对应 需要把此文件下载 sample 主要是看 data processing 表达矩阵 使用getGEO下载和本地下载表达矩阵的区别 https://www.jianshu.com/p/778ae45f3cc4 ...
GeoIP数据库
01-24
所谓GeoIP，就是通过来访者的IP， 定位他的经纬度，国家/地区，省市，甚至街道等位置信息。这里面的技术不算难题，关键在于有个精准 的数据库。有了准确的数据源就奇货可居赚点小钱，可是发扬合作精神，集体贡献众人享用是我们追求的
GEO数据库介绍
bioprogrammer
08-10 1万+
本博客内容将同步更新到个人微信公众号：生信玩家。欢迎大家关注~~~
零基础入门转录组分析——数据处理（GEO数据库——高通量测序数据）
weixin_49878699的博客
02-11 8264
GEO数据库中高通量数据处理（结合了官方和自己理解），包括：基因symbol转化，获取count，fpkm处理，设置分组信息表。
GEO数据挖掘（一）基础介绍
doctor_yuxiang的博客
05-07 1万+
GEO数据挖掘，火山图，热图，主成分分析
GEO数据库的使用（一）
热门推荐
xiaobai1_1的博客
12-04 3万+
1、GEO数据库介绍 GEO全称GENE EXPRESSION OMNIBUS，由美国国立生物技术信息中心NCBI创建并维护的基因表达数据库。创建于2000年，收录世界各国研究机构提交的高通量基因表达数据。 GEO上有四类数据GSM, GSE, GDS, GPL 1.GSM是单个样本的实验数据 2.GDS是人工整理好的关于某个话题的GSM的集合，一个GDS中的GSM的平台是一样的 3.GSE是一个...
零基础入门转录组分析-数据处理（GEO数据库-芯片数据）配套资源
04-24
零基础入门转录组分析——数据处理（GEO数据库——芯片数据） https://blog.csdn.net/weixin_49878699/article/details/135436066 教程对应的原始文件+代码+处理好的数据
生信数据库标准规范.pdf
01-18
生信数据库标准规范.pdf
生物信息学数据库之单细胞数据库
03-18
经过去批次效应，标准化处理的单细胞数据库，包括约800个细胞的20000个基因表达谱，收录了T-cell, B-cell，NK-cell，Astrocyte-cell...数据库为Rdata格式，需要简单的R语言基础，已经附带api及说明书，方便数据库查询。
GEO数据挖掘（2）-GEO数据库
qq_44520665的博客
01-28 1737
GEO数据库 GEO全称：Gene Expression Omnibus GEO数据库起先只是为表达芯片数据准备的，后期纳入了各种NGS组学数据，文章里面会给出数据地址，GSE ID号，由此我们就可以进入GEO数据库，进而了解它！ 如GSE84498:https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE84498 了解4个概念 GEO Platform (GPL) GEO Sample (GSM) GEO Series (GSE) GEO Data
GEO
博客
06-16 965
一、简介二、应用场景三、API1.geoadd2.geopos  3.geodist4.georadius  四、相关说明 
组学数据上传（六）|GEO数据库数据上传实操
m0_72595377的博客
10-24 758
1）注册账号：进入https://www.ncbi.nlm.nih.gov/ 网页，找到页面右上角Sign in ，进入页面后，点击页面中的Sign up，根据自己喜好，选择对应的账号进行注册，按照提示填写账号、密码、邮箱等信息。2）登录账号：输入账号及密码（注册时使用哪种账号注册，登录时选择对应的登录通道登录），点击Log in，然后点击左上角的NCBI大图标回到NCBI的主页，点击图中Submit按钮进入提交数据页面。上传结束后，可点击Notify GEO，提醒GEO后台人员上传完成，可以进行审核。
生信小白菜之四步搞定GEO差异分析与结果可视化
yangyulu1998的博客
03-25 585
生信技能树数据挖掘课程笔记。
R语言 | GEO数据库下载GSE基因芯片 以及表达矩阵和临床信息的提取
tianyuu1的博客
11-30 9707
如果只有一个就还好，如果有两个就说明数据是存在于两个平台的，不要遗漏了。最后将数据框输出为csv文件，这个时候如果直接用write.table()函数的话，会造成列名左移的情况，解决办法参见我之前的文章。只能提取该GSE中一个GPL，不注意这点就会遗漏掉另一个GPL的数据。如果你的GSE只有一个GPL，那么从gset中就仅含有一列数据，也就是说。的意思是，从gset这个对象中提取第一列数据。你的GSE只有两个GPL，那么从gset中就有两列数据，运行后，会得到一个叫做“gset”的“对象”。
GEO数据库原始数据处理GSE149507_RAW.tar
Laurus_Wang的博客
09-03 2762
GEO原始数据操作
流式数据库 RisingWave「Demo」：直播指标实时分析
最新发布
https://risingwave.com/
07-04 813
直播是目前最为流行的娱乐形式之一，本教程将分享如何使用开源流式数据库 RisingWave 监控直播指标。我们为本教程设置了一个演示集群，以便大家可以轻松尝试。
生信自学网geo合并代码
09-26
GEO（Gene Expression Omnibus）是一个公共数据库，存储了各种物种的表达谱数据和相关信息。在生物信息学中，通过研究GEO数据可以识别基因表达模式和相关通路，从而对疾病发生机制进行研究。而合并代码是指将来自GEO的多个数据集合并起来进行进一步分析和比较。 生信自学网提供了合并GEO数据集的代码示例，这个代码主要基于R语言中的Bioconductor包。首先，需要导入所需的R包，如GEOquery和limma等，这些包可以通过install.packages()函数进行安装。 接下来，通过GEOquery包中的getGEO()函数读取GEO数据集。可以通过在函数中指定GEO编号或GEO查询词，来获取GEO数据集的信息。然后，使用exprs()函数提取数据集的表达矩阵。 接下来就是数据的处理和整合。如果从GEO获取的数据集有多个，需要进行合并。可以使用cbind()函数将不同数据集的表达矩阵按列合并，或使用rbind()函数按行合并。合并后的数据集可以进行进一步的数据预处理，如去除低表达的基因和对数据进行标准化等。 最后，可以使用rankProd包和limma包等进行差异分析和富集分析等进一步的生物信息学分析。这些分析可以帮助我们发现不同基因表达的模式，从而进一步研究相关通路和疾病机制。 通过生信自学网提供的GEO合并代码示例，我们可以方便地将来自GEO的数据集进行合并和分析，从而深入研究基因表达的模式和生物学机制。这对于疾病的研究以及药物研发等方面具有重要的意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值