转录组入门(4):了解参考基因组及基因注释
在UCSC下载hg19参考基因组,我博客有详细说明,从gencode数据库下载基因注释文件,并且用IGV去查看你感兴趣的基因的结构,比如TP53,KRAS,EGFR等等。
作业,截图几个基因的IGV可视化结构!还可以下载ENSEMBL,NCBI的gtf,也导入IGV看看,截图基因结构。了解IGV常识
准备工作
参考基因组
测序得到的是几百bp的短read, 相当于把拼图打散了给你。如果没有参考基因组,从头(de novo)组装等于是重走人类基因组计划的老路,也就是打散了拼图,却不告诉你原来是什么样子,那么任务将会及其艰巨。
还好人类基因组已经组装好了,我们只需要把我们测得序列回贴(mapping)回去,毕竟人与人之间的差距只有不到1%差异, 允许mismatch就行。
因此第一步就是要去UCSC(http://genome.ucsc.edu/index.html)下载hg19参考基因组(文献要求)
![img_db5bbe613c0e72082cbd9a16af025841.png](https://i-blog.csdnimg.cn/blog_migrate/3a0c942d6f33c1a6365600a91d75ffb0.png)
![img_003b8136feb3f95ecb087c67ea973cca.png](https://i-blog.csdnimg.cn/blog_migrate/50df2441b0908352faf3c39f2dccab7a.png)
![img_276860a5224214757920b4d5451bf182.png](https://i-blog.csdnimg.cn/blog_migrate/54abcf2744d1bdf452f2881f73493fe6.png)
![img_d7c084736505c070e47ae9bac2f86742.png](https://i-blog.csdnimg.cn/blog_migrate/bd0abfb9f2b57b0bb5244b4d9fd7c074.png)
不同文件的所包含的数据在该页面有介绍,其中
chromFa.tar.gz - The assembly sequence in one file per chromosome.Repeats from RepeatMasker and Tandem Repeats Finder (with period of 12 or less) are shown in lower case; non-repeating sequence is shown in upper case.
我将数据存放在Windows的F盘的Data文件夹下,用于后续操作
cd /mnt/f/Data
mkdir reference && cd reference
mkdir -p genome/hg19 && cd genome/hg19
nohup wget http://hgdownload.soe.ucsc.edu/goldenPath/hg19/bigZips/chromFa.tar.gz &
tar -zvf chromFa.tar.gz
cat *.fa > hg19.fa
rm chr*
下面的内容是Jimmy在【直播】我的基因组(五):测试数据及参考基因组的准备关于参考基因组的介绍
这个对新手来说,是一个很大的坑,hg19、GRCH37、 ensembl 75这3种基因组版本应该是大家见得比较多的了,国际通用的人类参考基因组,其实他们储存的是同样的fasta序列,只是分别对应着三种国际生物信息学数据库资源收集存储单位,即NCBI,UCSC及ENSEMBL各自发布的基因组信息而已。有一些参考基因组比较小众,存储的序列也不一样,比如BGI做的炎黄基因组,还有DNA双螺旋结构提出者沃森(Watson)的基因组,还有2016年发表在nature上面的号称最完善的韩国人做的基因组。前期我们先不考虑这些小众基因组,主要就下载hg19和hg38,都是UCSC提供的,虽然hg38相比hg19来说,做了很多改进,优点也不少,但因为目前为止很多注释信息都是针对于hg19的坐标系统来的,我们就都下载了,正好自己探究一下。也顺便下载一个小鼠的最新版参考基因组吧,反正比对也就是睡个觉的功夫,顺便分析一下结果,看看比对率是不是很低。
吐槽: Jimmy大神的博客排版真的是非常考验我们对知识的渴望,每当看到他的排版的时候,我必须得忍住不去点击浏览器右上角。为了求知,我忍了。
注释信息
然而参考基因组是一部无字天书,要想解读书中的内容,需要额外的注释信息协助。
因此第二步,就是去gencode数据库(http://www.gencodegenes.org/)下载基因组注释文件。
![img_e9cb673a67e16910f618a0e9e282c77a.png](https://i-blog.csdnimg.cn/blog_migrate/e2106ea5b52de6aba4fa66ec8b16c620.png)
看了下面这个图,我才明白Jimmy为什么会吐槽基因组各种版本对应关系了。
![img_bb61d4bb420c8b3650e246b50643e8f4.png](https://i-blog.csdnimg.cn/blog_migrate/8ae859dcab13a40db4e4ecbe325ab2e2.png)
又到了GTF还是GFF3的抉择时刻,简单介绍了一下他们的格式
![img_8584e43939f42b71653ce817fe6c4a0f.png](https://i-blog.csdnimg.cn/blog_migrate/6bfb75747700b98bedbbedadbf13e0ef.png)
GTF(General Transfer Format)其实就是GFF2,以Tab分割,分为如下几列
- seqname - name of the chromosome or scaffold; chromosome names can be given with or without the 'chr' prefix. Important note: the seqname must be one used within Ensembl, i.e. a standard chromosome name or an Ensembl identifier such as a scaffold ID, without any additional content such as species or assembly. See the example GFF output below.
- source - name of the program that generated this feature, or the data source (database or project name)
- feature - feature type name, e.g. Gene, Variation, Similarity
- start - Start position of the feature, with sequence numbering starting at 1.
- end - End position of the feature, with sequence numbering starting at 1.
- score - A floating point value.
- strand - defined as + (forward) or - (reverse).
- frame - One of '0', '1' or '2'. '0' indicates that the first base of the feature is the first base of a codon, '1' that the second base is the first base of a codon, and so on..
- attribute - A semicolon-separated list of tag-value pairs, providing additional information about each feature.
而GFF3(General Feature Format)的格式如下
- seqid - name of the chromosome or scaffold; chromosome names can be given with or without the 'chr' prefix. Important note: the seq ID must be one used within Ensembl, i.e. a standard chromosome name or an Ensembl identifier such as a scaffold ID, without any additional content such as species or assembly. See the example GFF output below.
- source - name of the program that generated this feature, or the data source (database or project name)
- type - type of feature. Must be a term or accession from the SOFA sequence ontology
- start - Start position of the feature, with sequence numbering starting at 1.
- end - End position of the feature, with sequence numbering starting at 1.
- score - A floating point value.
- strand - defined as + (forward) or - (reverse).
- phase - One of '0', '1' or '2'. '0' indicates that the first base of the feature is the first base of a codon, '1' that the second base is the first base of a codon, and so on..
- attributes - A semicolon-separated list of tag-value pairs, providing additional information about each feature. Some of these tags are predefined, e.g. ID, Name, Alias, Parent - see the GFF documentation for more details.
看不出来有啥区别,不想纠结就全下载好了。
nohup wget ftp://ftp.sanger.ac.uk/pub/gencode/Gencode_human/release_26/GRCh37_mapping/gencode.v26lift37.annotation.gtf.gz &
nohuop wget ftp://ftp.sanger.ac.uk/pub/gencode/Gencode_human/release_26/GRCh37_mapping/gencode.v26lift37.annotation.gff3.gz &
我们对文字的理解能力远远小于图片,所以下一步需要下载基因组浏览器
IGV, Integrative Genomics Viewer
下载地址为: http://software.broadinstitute.org/software/igv/download
Windows下载如下版本, 会自带一个java运行环境
![img_bb3960afb8992b216794d8b935c95915.png](https://i-blog.csdnimg.cn/blog_migrate/64b30ff62b401488c2b15d1cb734bbee.png)
双击igv.bat, 就会出现运行界面。
![img_bef36a0a253fba47d35d4aefe0263ac7.png](https://i-blog.csdnimg.cn/blog_migrate/2df71008b3443d419fcb2a1ac551f5cb.png)
通过genome -> Load Genome From Files加载之前得到基因组文件。
![img_98f4fd63731fe1fed988d2d1bbb7813e.png](https://i-blog.csdnimg.cn/blog_migrate/944a02de66f29b768a4c43fd756a4cda.png)
进一步,还需要加载gff基因注释文件,File -> Load From Files
![img_00ddb0743ed9e3ad616dcaaf8c6e8c3c.png](https://i-blog.csdnimg.cn/blog_migrate/51306c2bcbd27728928900abe860f2c5.png)
显示未排序出错,可以使用Tool -> Run igvtools,进行排序。
![img_641aede19ee89bfb5f7530d6384477ab.png](https://i-blog.csdnimg.cn/blog_migrate/0e7814b2c5a9042332fc79329bb845be.png)
![img_e7723218af8b8ff2bd7d294fb0262d00.png](https://i-blog.csdnimg.cn/blog_migrate/ab1a00871f091e551552c4c57b0eeb97.png)
之后就可以重新加载排序后的gtf文件进行操作。生信宝典写过一篇文章介绍测序数据可视化(http://mp.weixin.qq.com/s/Q7pqycmQH58xU6hw_LECWA) 我也在看文档摸索中,先放上基因截图
![img_ca2b56ea57cf6b65b74222eaf393145f.png](https://i-blog.csdnimg.cn/blog_migrate/3ab43103b1560455286cb2c25f5dfeb4.png)
下面这张图是来自于几个月前Jimmy对高通量测序的理解,提供数据的截图
![img_8c7d80a66ab4b3837effdf8edad9c19b.png](https://i-blog.csdnimg.cn/blog_migrate/3b62003b3fb8a728d63d0e432ec5ec12.png)