从计算机的角度来说,生物的序列属于一种字符串,也是一种文本,因此生物信息分析属于文本处理范畴。文本存储为固定格式文件,生物信息的工作就是各种文本文件之间格式的转换,例如通过序列拼接将fastq转换为fasta,通过短序列比对将fastq与fasta合并为bam,通过变异检测将bam中突变位点提取出来转换为vcf。因此,我们可以通过总结每一种生物数据文件格式的处理方法来学习生物信息,这样当拿到固定格式的文件之后,就知道该如何来处理了。
fastq格式文件处理大全(一)fastq格式文件处理大全(二)
过滤短的序列
Ion Torrent,pacbio,nanopore测序的fastq文件序列长度并不相同,通常需要过滤较短的序列,例如过滤掉长度小于150bp的序列。可以使用seqtk seq或者seqkit seq进行操作。
#过滤小于150bp序列,并压缩输出
seqkit seq -m 150 nanopore.fastq.gz | gzip - >filter_150.fq.gz
seqtk seq -L 150 nanopore.fastq.gz
#保留小于150bp序列
seqkit seq -M 150 nanopore.fastq.gz
转换为列表格式
如何将fastq格式转换为列表格式?可以使用seqkit fx2tb,为什么要做这一步处理呢,转换为列表,这样方便根据ID进行处理。将四行数据转换为一行三列,这样就可以使用常用的列表处理程序来进行处理,例如awk