测序数据处理 —— 注释文件

最新推荐文章于 2024-10-24 08:00:00 发布
最新推荐文章于 2024-10-24 08:00:00 发布
阅读量1.9k 收藏 12
点赞数 6
分类专栏： 测序数据处理 文章标签： 数据库 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dxs18459111694/article/details/139193999
版权

测序数据处理 —— 注释文件

文章目录

介绍

基因组注释文件主要标注了基因组特征信息，包含基因及转录本在基因组上的位置信息，比如编码区、外显子内含子以及 UTR 等。

我们可以根据这些文件来提取基因组对应的信息，常见的文件格式包括 GFF、GTF 和 BED。

还有一种变异注释文件，用于记录和描述基因组中变异（如单核苷酸多态性（SNP）、插入和缺失（Indel）等）的详细信息及其功能注释。如 VCF 或 GVF 等。

GTF/GFF

GFF (General Feature Format) 文件格式是一种用于描述基因以及 DNA、RNA 和蛋白质特征的文件格式。

GFF 有不同的版本和格式（GFF2、 GFF3 和 GTF），但都使用制表符分隔，每行有 9 个字段。前 7 个字段的结构相同，但第 9 个字段的内容和格式会略有不同。

文件格式

最后一个字段使用键值对的形式表示，记录了基因的各种信息。例如：

##gff-version 3
#description: evidence-based annotation of the human genome (GRCh38), version 46 (Ensembl 112)
#provider: GENCODE
#contact: gencode-help@ebi.ac.uk
#format: gff3
#date: 2024-03-26
##sequence-region chr1 1 248956422
chr1    HAVANA  gene    11869   14409   .       +       .       ID=ENSG00000290825.1;gene_id=ENSG00000290825.1;gene_type=lncRNA;gene_name=DDX11L2;level=2;tag=overlaps_pseudogene
chr1    HAVANA  transcript      11869   14409   .       +       .       ID=ENST00000456328.2;Parent=ENSG00000290825.1;gene_id=ENSG00000290825.1;transcript_id=ENST00000456328.2;gene_type=lncRNA;gene_name=DDX11L2;transcript_type=lncRNA;transcript_name=DDX11L2-202;level=2;transcript_support_level=1;tag=basic,Ensembl_canonical;havana_transcript=OTTHUMT00000362751.1
chr1    HAVANA  exon    11869   12227   .       +       .       ID=exon:ENST00000456328.2:1;Parent=ENST00000456328.2;gene_id=ENSG00000290825.1;transcript_id=ENST00000456328.2;gene_type=lncRNA;gene_name=DDX11L2;transcript_type=lncRNA;transcript_name=DDX11L2-202;exon_number=1;exon_id=ENSE00002234944.1;level=2;transcript_support_level=1;tag=basic,Ensembl_canonical;havana_transcript=OTTHUMT00000362751.1

GTF

GTF（Gene Transfer Format）格式是 GFF2 的扩展，专门用于基因注释。它也有 9 个字段，与 GFF 相似，但在属性字段中对键值对的内容有更严格的要求。

它要求包括 gene_id 和 transcript_id 标识符，这使得对转录本和基因的描述更加明确。例如：

##description: evidence-based annotation of the human genome (GRCh38), version 42 (Ensembl 108)
##provider: GENCODE
##contact: gencode-help@ebi.ac.uk
##format: gtf
##date: 2022-07-20
chr1    HAVANA  gene    11869   14409   .       +       .       gene_id "ENSG00000290825.1"; gene_type "lncRNA"; gene_name "DDX11L2"; level 2; tag "overlaps_pseudogene";
chr1    HAVANA  transcript      11869   14409   .       +       .       gene_id "ENSG00000290825.1"; transcript_id "ENST00000456328.2"; gene_type "lncRNA"; gene_name "DDX11L2"; transcript_type "lncRNA"; transcript_name "DDX11L2-202"; level 2; transcript_support_level "1"; tag "basic"; tag "Ensembl_canonical"; havana_transcript "OTTHUMT00000362751.1";
chr1    HAVANA  exon    11869   12227   .       +       .       gene_id "ENSG00000290825.1"; transcript_id "ENST00000456328.2"; gene_type "lncRNA"; gene_name "DDX11L2"; transcript_type "lncRNA"; transcript_name "DDX11L2-202"; exon_number 1; exon_id "ENSE00002234944.1"; level 2; transcript_support_level "1"; tag "basic"; tag "Ensembl_canonical"; havana_transcript "OTTHUMT00000362751.1";

除了最后一个字段，其他字段基本一样。

BED

BED（Browser Extensible Data）格式是一个较为简单的文件格式，用于描述基因组区域的位置信息。一般来说，标准的 BED 格式至少需要 3 个字段，可添加九个可选字段，共十二列，每一行表示基因组上的一段区间。

例如，我们常见的一般是这种，只关注基因组位置信息

chr1    13043   13104   .       0       .
chr1    13297   13347   .       0       .
chr1    13949   14010   .       0       .
chr1    14913   14964   .       0       .
chr1    16221   16282   .       0       .
chr1    17467   17526   .       0       .
chr1    234290  234344  .       0       .
chr1    235090  235179  .       0       .
chr1    236181  236231  .       0       .

VCF

变异注释文件（Variant Call Format）用于记录和描述基因组变异（如单核苷酸多态性（SNP）、插入和缺失（Indel）等）的详细信息及其功能注释。

VCF 是一种简单的文本文件，用于记录基因组变异的标准格式，广泛用于各种变异数据集。

VCF 文件由两个部分组成：

  • 头部信息：以 ##开头的行，包含文件格式版本、参考基因组信息和其他元数据。
  • 主体部分。以 # 开头的行表示列标题，接下来的行表示每个变异的详细信息。

头部信息

头部信息推荐使用的字段包括：fileformat（文件格式）、fileDate（创建日期） 和 reference（参考基因组） 等。

还包含几个用于描述主体部分所用字段的关键字表示的含义及格式，主要有 INFO、FILTER 和 FORMAT。

例如，头部包含如下信息

##fileformat=VCFv4.3
##fileDate=20090805
##source=myImputationProgramV3.1
##reference=file:///seq/references/1000GenomesPilot-NCBI36.fasta
##contig=<ID=20,length=62435964,assembly=B36,md5=f126cdf8a6e0c7f379d618ff66beb2da,species="Homo sapiens",taxonomy=x>
##phasing=partial
##INFO=<ID=NS,Number=1,Type=Integer,Description="Number of Samples With Data">
##INFO=<ID=DP,Number=1,Type=Integer,Description="Total Depth">
##INFO=<ID=AF,Number=A,Type=Float,Description="Allele Frequency">
##INFO=<ID=AA,Number=1,Type=String,Description="Ancestral Allele">
##INFO=<ID=DB,Number=0,Type=Flag,Description="dbSNP membership, build 129">
##INFO=<ID=H2,Number=0,Type=Flag,Description="HapMap2 membership">
##FILTER=<ID=q10,Description="Quality below 10">
##FILTER=<ID=s50,Description="Less than 50% of samples have data">
##FORMAT=<ID=GT,Number=1,Type=String,Description="Genotype">
##FORMAT=<ID=GQ,Number=1,Type=Integer,Description="Genotype Quality">
##FORMAT=<ID=DP,Number=1,Type=Integer,Description="Read Depth">
##FORMAT=<ID=HQ,Number=2,Type=Integer,Description="Haplotype Quality">

其中 contig 指定了变异信息所在的染色体编号；INFO 和 FORMAT 分别指定了不同的关键字，每个关键字代表不同的信息；以及 FILTER 用于设置变异的过滤条件。

主体部分

VCF 的正文位于标题之后，用制表符分隔成 8 个必填列和数量不限的可选列，可用于记录有关样本的变异信息。

当使用附加列时，第一个可选列（FORMAT）用于描述后面各列的数据格式。

INFO

INFO 字段的关键字可以自由定义，只要与头部信息中定义的字段相同即可。如果不清楚 INFO 字段的关键字都代表什么意思，可以在头部查看其定义。

例如，几个常见的字段

FORMAT

类似于 INFO 字段，FORMAT 字段定义了每个样本应该包含哪些信息，也可以从头部对应字段的关键字的定义信息来查看具体含义。

例如，主体部分包含如下信息

#CHROM POS      ID         REF   ALT    QUAL  FILTER   INFO                             FORMAT       NA00001         NA00002          NA00003
20     14370    rs6054257  G     A      29    PASS    NS=3;DP=14;AF=0.5;DB;H2           GT:GQ:DP:HQ  0|0:48:1:51,51  1|0:48:8:51,51   1/1:43:5:.,.
20     17330    .          T     A      3     q10     NS=3;DP=11;AF=0.017               GT:GQ:DP:HQ  0|0:49:3:58,50  0|1:3:5:65,3     0/0:41:3
20     1110696  rs6040355  A     G,T    67    PASS    NS=2;DP=10;AF=0.333,0.667;AA=T;DB GT:GQ:DP:HQ  1|2:21:6:23,27  2|1:2:0:18,2     2/2:35:4
20     1230237  .          T     .      47    PASS    NS=3;DP=13;AA=T                   GT:GQ:DP:HQ  0|0:54:7:56,60  0|0:48:4:51,51   0/0:61:2
20     1234567  microsat1  GTC   G,GTCT 50    PASS    NS=3;DP=9;AA=G                    GT:GQ:DP     0/1:35:4        0/2:17:2         1/1:40:3

这 5 条变异记录都在 20 号染色体上，除了第二条记录值通过了质量分数的过滤，其他记录都通过了所有过滤条件。

INFO 字段中记录了包含变异的样本数，测序深度以及等位频率等；FORMAT 字段中定义了基因型、基因型质量、测序深度以及单倍型质量，值用 : 分隔。

BCF

BCF（Binary Call Format）和 VCF 都是用于存储和交换基因组变异数据的格式。它们之间的主要区别在于文件格式的存储方式和处理效率。

BCF 是二进制格式，相较于 VCF 文本文件，其可以高效地存储和处理变异数据，节省存储空间，适合大规模数据分析。

数据存储格式的主要区别在于，样本数据的存储方式。如下图所示
wikipedia VCF

GVCF

GVCF（Genomic VCF）是一种特殊的 VCF 格式，用于存储基因组变异数据的详细信息。

与传统的 VCF 文件不同，GVCF 不仅记录变异位置的信息，还包括未变异位置的覆盖深度和质量信息。这使得 GVCF 在处理大规模基因组数据时更加高效和全面。

GVCF 通过定义变异和非变异区域的块来压缩信息，减少文件大小。每个块描述了一个连续的非变异区域，内含统一的置信度信息。

GVCF 文件格式在基本结构上与 VCF 相似。例如

##fileformat=VCFv4.2
##FILTER=<ID=PASS,Description="All filters passed">
##FORMAT=<ID=GT,Number=1,Type=String,Description="Genotype">
##FORMAT=<ID=GQ,Number=1,Type=Integer,Description="Genotype Quality">
##FORMAT=<ID=DP,Number=1,Type=Integer,Description="Read Depth">
##contig=<ID=1,length=249250621>
#CHROM POS     ID        REF  ALT  QUAL FILTER INFO                               FORMAT Sample1
1      10010   .         A    <*>  50   PASS   END=10020;BLOCKAVG_min30p3a        GT:GQ:DP 0/0:50:10
1      10021   rs123456  T    A    99   PASS   .                                  GT:GQ:DP 0/1:99:20
1      10022   .         G    <*>  50   PASS   END=10100;BLOCKAVG_min30p3a        GT:GQ:DP 0/0:50:15

其中，<*> 表示这是一个非变异区域的记录，END=10020 表示非变异块的结束位置，BLOCKAVG_min30p3a 可能是一种区块平均质量分数。

在 GVCF 和 VCF 文件中，<NON_REF> 和 <*> 两者都可以见到，它们用于指示非参考碱基的信息，但有不同的具体含义和用途。

  • <NON_REF>：表示所有可能的非参考碱基的集合，通常用于 GVCF 文件中。
  • <*>：用于指示无法确定的或者未明确识别的替代碱基
GTF基因注释文件详解
宁生信
06-03 5万+
GFF和GTF是两种最常用的数据库注释格式，在信息分析中建库时除了需要fasta文件一般还会需要这两种文件，提取需要的信息进行注释。 Cufflinks/Tophat 软件需要 GTF文件作为基因注释文件。  GFF全称为general feature format，这种格式主要是用来注释基因组。 GTF全称为gene transfer format，主要是用来对基因进行注释。 目
关于基因组注释文件GTF的解释
diedie4488的博客
06-06 4344
　　GTF文件的全称是gene transfer format，主要是对染色体上的基因进行标注。怎么理解呢，其实所谓的基因名，基因座等，都只是后来人们给一段DNA序列起的名字而已，还原到细胞中就是细胞核里面的一条长长的染色体（DNA序列）。而这个GTF文件的主要功能，就是指出我们所谓的基因在染色体上的位置（coordinate），并且还标注了这一段区间的其他信息。 　　GTF文件我一般...
基因组文件及gtf文件的下载及从GTF中提取注释信息
qq_47054630的博客
01-09 4901
对于大多数的细菌来说做，查找未知基因的功能都是一个问题，我在做细菌的转录组分析时就碰到了这个问题，得到差异基因之后无法系统的进行下一步分析，GO数据库只提供很少的物种选择，kegg虽然提供了不少这种信息，但是对于大多数的菌群来说还是不够，所以对于部分数据来说直接从NCBI或者Ensemble数据库中给的gtf注释文件中提取基因的注释信息也是一种方法。
参考基因组注释文件信息
最新发布
大甘的博客
10-24 1028
GTF 和 GFF3 文件是基因组注释中常用的格式，它们详细描述了基因组上的各种特征及其层级关系。理解这些格式对基因组研究至关重要。它们广泛用于。
一文读懂参考基因组和基因组注释+最全下载方法
热门推荐
Baimoc
06-02 6万+
文章目录一、什么是参考基因组和基因组注释？二、参考基因组版本命名1、常用人参考基因组对应表2、常用小鼠参考基因组对应表三、下载1、NCBI2、Ensemble3、GENCODE4、UCSC5、iGenomes四、其他参考基因组信息 一、什么是参考基因组和基因组注释？ 先来理一理参考基因组，基因组注释文件，测试数据间的关系。 自从 1990 启动的家喻户晓的人类基因组计划开始，全世界的科学家竭尽全力破译了第一个完整的人类基因组，从那时开始人类拿到了一本只有 ATCG 四个碱基书写的天书。后续人们逐步完善了基因
RNA-seq(2):下载参考基因组及基因注释，及测序数据-学习笔记
leo12354的博客
05-05 4945
今天学习了如题的一些操作。但是并不算成功。本来打算做到quality control，结果卡在了下载测序数据上，硬生生地卡在这儿。 参考网站： （RNA-seq(4):下载参考基因组及基因注释） 1.安装ASPERA 1）wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727...
贴心 | GXF Fix 修复 / 优化基因结构注释信息文件 - GTF/GFF3
abai0410的博客
04-13 2318
写在前面 目前基因组测序和组装成本几乎已经到任何一个课题组都可以单独负担的价码，大量物种的基因组序列被测定和释放。与此同时，对应的基因结构注释信息文件，如GTF或GFF3文件等，也可公开下载。 对于绝大多数要使用这些公共资源的研究人员而言，有了这两个文件就足够了。但想象总是美好，现实却常常骨感。物种基因组很多，基因组序列质量不高的同时，基因结构注释信息文件更加不规范，往往直接影响下游数据分析。我最近在看一些数据，也就遇到类似的问题。如果规范化一个GFF3文件，补充对应的信息，使得该文件能够尽可能适应各类下游
一代和二代基因组测序的基本原理
qwesdqweds的博客
01-11 4379
第一代测序为1977年sanger提出的双脱氧终止法，在理解原理前，必须要知道DNA合成的特点。与RNA合成（转录）不同，DNA合成需要RNA聚合酶先合成一小段RNA片段，为DNA的合成起始提供一个-3’OH（之所以要这样有说法是生物体为了DNA合成起始的保真性），而后续的dNTP延申都借用了上一个dNTP的-3‘OH。Sanger发现，当化学合成出的没有-3’OH的ddNTP（即双脱氧核糖核苷酸，图1）被DNA聚合酶援用延申新链时，由于缺乏3’羟基DNA的合成就会终止掉。天才的图1。
AGAT：基因注释文件处理的全能工具
gitblog_01118的博客
08-22 353
AGAT：基因注释文件处理的全能工具 AGATAnother Gtf/Gff Analysis Toolkit项目地址:https://gitcode.com/gh_mirrors/ag/AGAT 在生物信息学领域，基因注释文件（GTF/GFF格式）是描述基因结构和功能的关键数据。然而，这些文件的多样性和复杂性常常给数据处理带来挑战。今天，我们要介绍的是一款强大的开源工具——AGAT（Anoth...
单细胞测序学习笔记（二）——细胞注释
weixin_63756017的博客
02-25 1万+
1.细胞鉴别 在上一步对各类细胞进行featureblot后，可以根据文献或者在线数据库来对细胞进行鉴别。此处我使用的是CellMarker网站。 对照起来进行鉴别，但是有些细胞簇有两个marker，有些细胞簇的marker有重合，所以鉴别这一步具有比较大的主观性，需要结合多个数据库或者文献进行判断。 在完成鉴别后，创建一个新的字符向量保存细胞名称，顺序从0-12一一对应。 以下是我自己的判断结果： new.cluster.ids <- c("Memory T cell","C..
Bulk-RNA-seq流程——从测序数据到count文件(AGSdata)
weixin_63884580的博客
02-11 9148
RNA-seq通用流程（从原始测序数据到count文件）：环境安装，软件安装，数据质控，数据过滤，序列比对，bam文件，count
gffcompare：通过与参考注释GFF进行比较来对GFF文件进行分类，合并，跟踪和注释
02-11
Gff比较 比较并评估RNA-Seq转录组装体（袖扣，细绳）的准确性。 折叠（合并）来自多个GTF / GFF3文件的重复成绩单（例如，来自不同样品的组装） 对一个或多个GTF / GFF3文件中的笔录进行分类，因为它们与注释文件中提供的参考笔录有关（也为GTF / GFF3格式） 可以在以下文章中找到更多详细信息和用法示例： ，也可以引用该软件。 可在此处在线找到此实用程序的官方文档和下载包： : 有关GffCompare期望的GFF3 / GTF文件格式的更多信息，请参考可用的在线文档-可以在以下位置找到快速查看： : 该程序的原始版本作为Cufflinks套件的一部分分发，名称为“ CuffCompare”。 GffCompare仍支持CuffCompare的整体功能和大多数选项，而仅将新功能添加到GffCompare中，因为它是程序的积极维护。 GffCo
Amplicon:高通量测序——扩增子测序，主要包括用于微生物组分析的16S、18S和ITS
05-31
扩增子测序是现代生物学研究中的一种重要技术，特别是在微生物组学领域。...使用者可以通过解压这个压缩包，并按照提供的说明文档运行脚本来分析自己的16S测序数据，从而深入探究微生物世界的多样性和动态变化。
文献RNA-seq复现第2期——sra数据转换、参考基因组及注释信息的准备
qq_53971833的博客
08-25 2691
sra数据转换、参考基因组及注释信息的准备
文献RNA-seq复现第3期——数据质控、序列比对及sam文件的处理
qq_53971833的博客
08-29 1710
RNA-seq数据质控、序列比对及sam文件的处理
文件格式之gff3
薛猫_柳叶刀
03-16 1万+
GFF3是GFF注释文件的新标准。文件中每一行为基因组的一个属性，分为9列，以TAB分开。 依次是： 1. reference sequence：参照序列 指出注释的对象。如一个染色体，克隆或片段。可以有多个参照序列。 该id的取名不能以’>’开头，不能包含空格。   2. source ：来源 注释的来源。如果未知，则用点（.）代替。   3. type     ：类型 属性
gff文件_如何提取gff文件中的基因注释信息
weixin_39715460的博客
12-18 4959
原标题：如何提取gff文件中的基因注释信息gff3格式注释文件是最常见的基因注释，(https://archive.broadinstitute.org/annotation/argo/help/gff3.html)简单来说，gff3是以tab分隔的文本文件，共有9列，对应信息如下：1、seqnameThe name of the sequence. Typically a chromosome ...
如何选择参考基因组和注释文件
人间飞羽
04-15 1万+
如何选择参考基因组和注释文件
转录组入门（4）：了解参考基因组及基因注释
weixin_34221112的博客
07-12 1482
转录组入门(4)：了解参考基因组及基因注释 在UCSC下载hg19参考基因组，我博客有详细说明，从gencode数据库下载基因注释文件，并且用IGV去查看你感兴趣的基因的结构，比如TP53,KRAS,EGFR等等。 作业，截图几个基因的IGV可视化结构！还可以下载ENSEMBL，NCBI的gtf，也导入IGV...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

名本无名

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>