生物信息学——常见的四种文件格式(fasta,fastq,sam,vcf)

最新推荐文章于 2024-04-12 19:30:00 发布
最新推荐文章于 2024-04-12 19:30:00 发布
阅读量4.9k 收藏 22
点赞数 3
分类专栏： 生物信息学 文章标签： 生物信息 测序技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45794091/article/details/128580107
版权

生物信息学

生物信息学——常见的四种文件格式(fasta,fastq,sam,vcf)

文章目录

概述

每一种生物软件都有固定的文件格式要求。了解文件格式才能快速分辨文件的功能。从某种意义上来说，生物信息分析的过程就是进行各种文件格式的转换过程。例如当前很多分析都可以概括为从fastq到bam，从bam到vcf的过程。

一、fasta文件格式

  • 概述：FASTA（Fast All Sequences in A）文件格式是一种常用于存储生物序列信息（如DNA、RNA或蛋白质序列）的文本格式（主要是把序列储存到数据库中的一种形式）。FASTA文件通常用于存储和共享生物学数据，如基因序列或蛋白质序列。
  • 后缀：fa,fasta,fna
  • 格式：
    • FASTA文件可以包含一个或多个序列，每个序列都以一个描述行和一个或多个序列数据行组成。多个序列可以依次排列在FASTA文件中。

  1. 描述行（Header Line）：FASTA文件的每个序列都以一个描述行开始，以大于号（“>”）开头，用于序列标记，主要储存序列的描述信息。后面跟着该序列的名称或标识符（为了保证后续分析软件能够区分每条序列，单个序列的标识必须是唯一的）。描述行通常是单行文本，用于标识序列的来源或其他相关信息，序列ID部分可以包含注释信息。

    示例：

    >Sequence1

  2. 序列数据行（Sequence Data Line）：紧接着描述行的是实际的序列数据行，序列信息，既为序列本身。序列数据行包含序列的碱基（DNA或RNA）或氨基酸（蛋白质）的字符序列。序列数据行可以跨越多行，但通常为了方便起见，会将序列分为80到120个字符的行。

    示例：

    ATCGATCGATCGATCG...
  • 示例：

以下是一个包含两个DNA序列的FASTA文件的示例：

>Sequence1
ATCGATCGATCGATCG...
>Sequence2
GCTAGCTAGCTAGCTA...
  • 适用情况：FASTA文件是广泛使用的生物信息学数据格式之一，因为它简单易读，并且适用于存储各种生物学序列的信息。这使得FASTA文件在分析和比对生物序列数据时非常有用。

二、fastq文件格式

  • 概述：FASTQ（Fast Quality Score）文件格式是一种用于存储测序数据的文本格式，通常用于存储DNA或RNA测序结果。FASTQ文件包括序列数据和与每个碱基相关的质量分数信息，以便在测序数据分析中进行质量控制和序列比对。
  • 后缀：fastq, fq
  • 格式：
    • FASTQ文件中的每个序列通常由一个描述行、一个序列数据行、一个分隔行和一个质量分数行组成，这些行按顺序重复出现，以表示不同的测序读取。FASTQ文件可以包含一个或多个序列，每个序列之间以相同的格式分隔。

  1. 描述行（Header Line）：FASTQ文件的每个序列都以一个描述行开始，以"@"字符开头，后面跟着该序列的名称或标识符，通常包含有关测序样本的信息。

    示例：

    @Sample_1

  2. 序列数据行（Sequence Data Line）：序列数据行包含DNA或RNA序列的字符序列，由A、T、C、G等表示碱基。这些字符表示测序得到的碱基序列。

    示例：

    ACGTACGTACGT...

  3. 分隔行（Separator Line）：分隔行通常由一个加号（“+”）开头，后面跟着与序列数据行对应的描述符。尽管分隔行中的内容与描述行相同，但分隔行的存在有助于区分不同部分。

    示例：

    +

  4. 质量分数行（Quality Score Line）：质量分数行包含与序列数据行中的每个碱基相关的质量分数。质量分数通常以ASCII字符表示，表示测序仪器对每个碱基的测序质量。较高的ASCII值表示更高的质量。

    示例：

    BCCDFFFFFGGGG...
  • 示例：
    以下是一个包含两个测序序列的FASTQ文件的示例：
@Sample_1
ACGTACGTACGT...
+
BCCDFFFFFGGGG...
@Sample_2
GCTAGCTAGCTA...
+
DDDDDEEEEEE...
  • 适用情况：FASTQ文件广泛用于存储和共享测序数据，以便进行生物信息学分析、基因组学研究和生物学研究。

三、sam(/bam)文件格式

  • 概述：SAM（Sequence Alignment/Map）文件格式是一种常用于存储DNA或RNA序列比对（alignment）结果的文本格式，通常用于描述测序数据与参考基因组的比对信息。SAM文件通常包括序列的位置、碱基配对、质量分数等信息。
    • 在SAM文件之后，通常还会生成一个二进制的BAM文件，以节省存储空间和提高数据处理速度。
  • 后缀：sam(/bam)
  • 格式：
  1. 文件头（Header）：SAM文件的开头通常包括文件头部分，以"@“字符开头。文件头部分包含与比对信息和文件本身相关的元数据（metadata），如测序平台、参考基因组信息、比对软件等。文件头部分以”@“字符开始，后跟标识符（如"PG”、"SQ"等），然后是元数据的具体内容。

示例：

@HD     VN:1.6  SO:coordinate
@SQ     SN:chr1 LN:248956422
@RG     ID:Sample1     PL:illumina     SM:Sample1

  1. 比对记录行（Alignment Records）：SAM文件的主体部分包括比对记录，每一行代表一个测序序列的比对结果。比对记录包括多个字段，这些字段之间使用制表符（“\t”）分隔。比对记录的字段包括：

    • 序列名称（QNAME）：测序序列的名称或标识符。
    • 比对标志（FLAG）：描述比对的一些特征，如是否匹配、是否是原始测序序列等。
    • 参考序列名（RNAME）：比对到的参考基因组上的染色体或序列名称。
    • 参考序列位置（POS）：比对序列在参考基因组上的起始位置。
    • 映射质量（MAPQ）：表示比对的质量得分。
    • CIGAR字符串（CIGAR）：描述序列与参考基因组的对齐方式。
    • 参考序列下游位置（RNEXT）：下游比对的参考序列名称。
    • 下游位置（PNEXT）：下游比对的起始位置。
    • 序列数据（SEQ）：比对到参考基因组上的序列数据。
    • 质量字符串（QUAL）：序列的质量分数。

    示例：

    read001  16  chr1  1000  30M  *  =  1000  0  ATCG...  BCCC...
  • 适用情况：SAM文件用于存储比对结果，通常由测序数据分析软件生成。它是生物信息学和基因组学研究中常用的数据格式，用于存储和共享测序数据的比对信息，以便后续分析和解释测序数据。

四、vcf文件格式

  • 概述：VCF（Variant Call Format）文件是一种用于存储基因组变异数据的文本格式，通常用于描述DNA或RNA测序数据中的单核苷酸变异和结构变异。VCF文件包括了各种类型的变异信息，如单核苷酸多态性（SNP）、插入/删除（Indel）、复合杂变异等。
  • 后缀：vcf
  • 格式：

  1. 文件元数据（File Metadata）：VCF文件的开头通常包括一些元数据信息，用于描述文件的属性和来源，以及变异数据的版本等。元数据行以"##"开头，可以包括信息字段、格式字段和样本信息字段等。

    示例：

    ##fileformat=VCFv4.3
##fileDate=20210920
##source=MyVariantCaller
##INFO=<ID=AF,Number=A,Type=Float,Description="Allele Frequency">
##FORMAT=<ID=GT,Number=1,Type=String,Description="Genotype">
#CHROM  POS     ID       REF  ALT     QUAL  FILTER  INFO  FORMAT  Sample1  Sample2

  2. 列名（Column Headers）：VCF文件的列名行包括了各个字段的名称，通常以"#“开头，后跟字段名称，包括"CHROM”（染色体名称）、“POS”（变异位置）、“ID”（变异标识符）、“REF”（参考碱基）、“ALT”（变异碱基）、“QUAL”（质量分数）、“FILTER”（过滤信息）、“INFO”（变异信息）和"FORMAT"（样本格式）等。

    示例：

    #CHROM  POS     ID       REF  ALT     QUAL  FILTER  INFO  FORMAT  Sample1  Sample2

  3. 变异记录行（Variant Records）：VCF文件的主体部分包括一行行的变异记录，每一行描述一个变异事件。变异记录行包括了各种字段，这些字段用制表符（“\t”）分隔，包括：

    • CHROM：变异位点所在的染色体名称。
    • POS：变异位点在染色体上的位置。
    • ID：变异的唯一标识符。
    • REF：参考碱基。
    • ALT：变异碱基。
    • QUAL：质量分数，表示变异的质量估计。
    • FILTER：过滤信息，描述变异是否通过了一些质量过滤。
    • INFO：包含有关变异的详细信息的字段。
    • FORMAT：描述每个样本中的数据格式。
    • 样本数据：每个样本的具体数据，包括基因型信息、深度信息、质量信息等。

    示例：

    1       1001    rs123    A    G    20.4   PASS   AF=0.25;DP=30   GT:AD:GQ:PL  0/1:10,20:30:50,0,60
  • 适用情况：VCF文件是用于存储和共享基因组变异信息的标准格式，在基因组学研究和生物信息学分析中广泛使用。它允许研究人员记录和交换关于基因组中的变异的重要信息，以便进一步的研究和解释。VCF文件的格式规范有不同的版本，因此要确保正确解析和处理VCF文件，最好查阅文件的元数据信息以了解其格式版本。
福旺旺
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
biocode 生物信息学Python脚本集合
12-09
概述 这是许多人发现的有用的生物信息学脚本和代码模块的集合，这些模块使编写新的脚本更快。 多年来，大多数生物信息学研究人员积累了一系列小型实用程序脚本，使他们的生活更加轻松。它们通常被保存在私人存储库中，或者作为公共收藏的一部分，其他人无法对此做出贡献。Biocode是一个精心策划的通用实用程序脚本库，我和我的同事发现它很有用，并希望与其他人分享。我还开发了一些代码库/模块，使我的脚本编写工作变得更加容易。有些人发现这些比脚本本身更有用。 如果您想了解更多信息，请查看下面的内容，自己编写代码，或者只获取脚本。 --乔舒亚·奥维斯 脚本 这里的范围故意非常开放。我想包括开发人员通常认为有用的任何内容。语言选择没有限制，尽管大多数是Python。目前，以下目录构成初始分组，但将根据需要进行扩展： blast-如果使用、按摩或只是重新格式化blast输出，它会出现在这里。 chado-应该在这里找到与chado模式（gmod.org）相关的脚本。 fasta-过滤、转换、大小分布图等。 fastq-fasta较新姊妹格式的实用程序。 genbank-有什么与genban
BAM文件数据结构详解
m0_71218711的博客
01-05 915
BAM文件（Binary Alignment/Map格式）是用于存储大规模测序数据的二进制文件格式，特别是用于存储序列与参考基因组的比对结果。它是SAM（Sequence Alignment/Map）文件的压缩版本，设计用于更有效的存储和快速的数据访问。
常用生物信息学格式介绍
vickyleexy's blog
04-23 9702
转载于：http://ju.outofmemory.cn/entry/193943前言　　在各个行业都是有行业标准的，这样才能统一规范而方便后面的分析，在生物信息学领域中主要是各种大量序列数据、注释数据等，这些都是有特定的格式去表示，下面列举几种常见的格式。了解这些是进行后续生物信息学分析的必备知识，有些人虽说是在做生物信息学分析，但是到现在可能还不知道什么是GFF3格式等。fastafasta格式
Linux进阶--生物信息学常见的文件格式：fasta、fastq、gff/gtf
最新发布
Rita_rr的博客
04-12 317
生物信息学常见的文件格式：fasta、fastq、gff/gtf
dna:用于Ruby的生物序列文件（fasta，fastq，qseq）解析器
04-29
脱氧核糖核酸 Ruby的生物序列文件解析器 奥斯汀·戴维斯·理查森（Austin G.Davis-Richardson） 特征 支持的格式（） 自动格式检测 延迟迭代 安装 在Ruby 1.9.3和2.0.0上测试 $ (sudo) gem install dna 用法 require 'dna' # Automatic Format Detection File . open ( 'sequences.fasta' ) do | handle | records = Dna . new handle records . each do | record | puts record . length end end File . open ( 'sequences.fastq' ) do | handle | records = Dna . new handl
WES-data-Analysis:从FastQ到vcf
04-24
WES数据分析 从FastQ到vcf，然后使用varaft软件进行注释 如果您使用此代码，请在您的论文中引用以下链接： :
常用生物信息学格式介绍(fasta、fastq、gff2、gtf(gff2.5)、gff3、bed、sam、bam、vcf)
hgz2020的博客
10-16 2516
6. CIGAR CIGAR 字符串，即比对的详细情况，简要比对信息表达式（Compact Idiosyncratic Gapped Alignment Report），其以参考序列为基础，使用数字加字母表示比对结果，比如3S6M1P1I4M，前三个碱基被剪切去除了，然后6个比对上了，然后打开了一 个缺口，有一个碱基插入，最后是4个比对上了，是按照顺序的；则对应的测序质量分数为0，表示测序质量低。bam格式中的b是binary的意思，是sam格式的二进制表示方式，为什么要用二进制表示呢？
生信必会格式：Fasta & Fastq 简介及转换
热门推荐
鬼话
11-20 1万+
FASTA和FASTQ文件，其实还是文本文件，用于存储序列信息。平时为了存储方便，节省空间，所以变成了GZ的压缩文件（二进制文件，不能直接用head、less等命令直接查看）。之前没有好好记笔记，现在补上😑。
fasta与fastaq的区别以及格式转换
XIUXIU179的博客
11-24 1万+
1.1）测序质量值 首先在了解fastq，fasta之前，了解一下什么是质量值。Phred 功能是处理测序仪直接生成的色谱图，给出相应的碱基和质量值。不同的测序仪会给出不同的色谱文件，Phred 能够识别三种格式的色谱文件，SCF, ABI 和预先处理的 ESD 格式。 碱基的测序质量值 Q 和此碱基出错的概率 Pe 相关。公式：Q = -10 log10( Pe )。phred软件在对reads进行base calling的时候会给出每一个碱基的质量值，这个质量值的计算与测序预期错误率相...
各类生信文件解读（fasta,fastq,bam,sam,bed,bg,wig,bdg,gff3,gtf等）
weixin_44616693的博客
06-22 2158
生信相关文件格式解读
如何打开Fastq文件
xirongxu_dlut的博客
07-26 2002
生物信息学软件通常提供了一些命令行工具来处理Fastq文件，例如常见的序列拼接、质量过滤、序列比对、读取计数等相关分析。Python是一种常用的编程语言，生物信息学工具和软件的开发者经常使用Python编写脚本来处理Fastq文件。使用Python脚本打开Fastq文件可以允许我们执行高度定制的数据分析和处理。Fastq文件也可以使用文本编辑器来打开，这使得我们可以查看文件中的基因序列与其相关的序列质量信息。上述Python脚本将读取输入的Fastq文件，并且在控制台中显示其序列信息。
assembly-stats:从FASTA和FASTQ文件获取程序集统计信息
05-25
装配状态 从FASTA和FASTQ文件获取程序集统计信息。 内容 安装 如果在安装程序集统计信息时遇到问题，请与本地系统管理员联系。 如果您遇到错误，请记录该错误，或​​通过向我们发送电子邮件。 运行以下命令以将程序assembly-stats安装到/usr/local/bin/ 。 mkdir build cd build cmake .. make make test make install 如果您没有root用户访问权限，则可以通过将调用更改为cmake来安装到您选择的目录。 例如： cmake -DINSTALL_DIR:PATH=/foo/bar/ .. 这将意味着您在/foo/bar/目录中获得了一个assembly-stats的副本。 用法 从文件列表中获取统计信息： assembly-stats file.fasta another_file.fastq 从
FASTX.jl：解析和处理生物序列的FASTA和FASTQ格式的文件
02-04
FASTX.jl：解析和处理生物序列的FASTA和FASTQ格式的文件
genozip：用于基因组文件（FASTQ，SAMBAM，VCF，FASTA，GVF，23andMe ...）的压缩器，比gzip压缩多达5倍，并且速度也更快
02-15
Genozip （可在Conda ， Docker Hub和） Genozip是一种用于基因组文件的压缩器-虽然它可以压缩任何文件（即不仅是基因组文件），但它经过优化可以压缩FASTQ，SAM / BAM / CRAM，VCF / BCF，FASTA，GVF，Phylip和23...
FASTQ文件详解【转】
相羽
10-21 1万+
FASTQ是基于文本的，保存生物序列（通常是核酸序列）和其测序质量信息的标准格式。其序列以及质量信息都是使用一个ASCII字符标示，最初由Sanger开发，目的是将FASTA序列与质量数据放到一起，目前已经成为高通量测序结果的事实标准。 格式说明 FASTQ文件中每个序列通常有四行： 序列标识以及相关的描述信息，以‘@’开头； 第二行是序列 第三行以‘+’开头，后面是序列标示符、描述
查看fna文件Linux,NCBI上基因组文件格式及解释
weixin_30653091的博客
05-09 3429
最近在对于一些关于基因组的数据进行处理，发现如果在NCBI上下载一个物种例如E. coil的基因组序列之后，有很多并不常见的文件类型，例如.asn.faa.ffn.fna *.val 等等，处于好奇，特意去查了这些文件的意义是什么，总结如下：*.asn = ASN.1 (Abstract Syntax Notation 1) file 是NCBI的一种特定格式，包括完整的注释信息，可以用如sequ...
使用python处理fasta文件——将fasta文件转换为csv文件
xiaobai1_1的博客
07-14 4029
FASTA文件主要用于存储生物的序列文件，例如基因组，基因的核酸序列以及氨基酸等，是最常见的生物序列格式，一般以扩展名fa,fasta,fna等。fasta文件中，第一行是由大于号">"开头的任意文字说明，用于序列标记，为了保证后续分析软件能够区分每条序列，单个序列的标识必须是唯一的，序列ID部分可以包含注释信息。从第二行开始为序列本身，只允许使用既定的核苷酸或氨基酸编码符号。序列部分可以在一行，也可以分成多行。 CSV文件是最通用的一种文件格式，它可以非常容易地被导入各种PC表格及数据库中。 此文件
生信常见的4种文件格式
小山羊的学习日志
05-06 2173
学习笔记，仅供参考 参考自：生信分析必须了解的4种文件格式 侵删 [hr] 生信必须了解的4种文件格式 在做生物信息的过程中，经常需要进行各种文件格式。每一种生物软件都有固定的文件格式要求。因此，需要非常每一种数据的文件格式，从某种意义上来说，生物信息分析的过程就是进行各种文件格式的转换过程。例如当前很多分析都可以概括为从fastq到bam，从bam到vcf的过程。 fasta文件格式 FASTA文件主要用于存储生物的序列文件，例如基因组，基因的核酸序列以及氨基酸等，是最常见的生物序列格式，一般扩展名为
canu纠错后得到的数据是fasta还是fastq
09-24
可以，CANU 生成的数据既可以是 FASTA 格式，也可以是 FASTQ 格式。 FASTA 格式是一种用于表示生物序列的文本格式，其中序列以字母表示，并且包含一些描述性信息。FASTQ 格式则在 FASTA 的基础上加入了测序质量信息，使其更加适合于描述基因组测序数据。 因此，如果你在使用 CANU 进行基因组组装后得到的数据是 FASTA 格式，那么其中只包含序列信息，而不包含测序质量信息。如果你需要对这些数据进行质量控制或其他分析，可能需要将其转换为 FASTQ 格式。反之，如果你得到的数据已经是 FASTQ 格式，那么其中已经包含了测序质量信息，可以直接用于后续的分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值