测序数据的拆分、合并、质控以及callsnv

最新推荐文章于 2024-01-14 10:55:28 发布
最新推荐文章于 2024-01-14 10:55:28 发布
阅读量1.3w 收藏 27
点赞数 3
文章标签： 数据库 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kunxitoothache/article/details/109764057
版权

一、windows端的原始数据处理

首先要明白为了提高测序效率，需要把不同的文库合并到一起进行测序，为了区分不同文库的不同样本，加了不同I5用以区分文库，加了不同I7用区分不同样本。

在这里插入图片描述

  • 我们这边红色框选部分是I5，蓝色框选部分是I7

因提高测序效率和数据量上限的关系，不同的文库可能被分到不同的Lane中，所以对于分到不同Lane中的数据要分开拆分再进行合并，以下以此为例：
在这里插入图片描述

131在Lane1中有44%的数据量和Lane2中有13%的数据量（一般MU21的的数据量总和在50%-60%左右，不排除个别特殊情况），因为131文库存在合并操作，下面操作以此为例。

为了满足拆分数据的格式，需要对条码信息的数据进行初步的整理，保证数据能满足以下条件：

  1. 找到对应的sample sheet文件（此处为131在Lane1和Lane2中分别有一部分）；

在这里插入图片描述
在这里插入图片描述

  1. 样本条码后加LA“n”表示在那一条Lane上为后面合并做依据，黄色部分是需要的，要保证样本条码在第三列，I7+I5在第五列（测数据是I5+I7，拆分数据是I7+I5）；
    在这里插入图片描述
  2. Lane2的131同理操作。

二、linux端数据的拆分与合并

  1. 使用Xshell登陆

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  1. 创建文件夹project/MU21/MU21O-131/fastq
    MU21O:代表MU21-old
mkdir project
cd project
mkdir MU21
cd MU21
mkdir MU21O-131
cd MU21O-131
mkdir fastq
cd fastq
  1. 在fastq文件夹下建一个sam_MU*索引文件,将样本条码（第三列）和I7+I5（第五列）粘贴进去
cat > sam_MU21O-131
	1020201018120	1020201018120LA1		CTGGAGCG+ATGTATAG
	1372010170158	1372010170158LA1		CGCTGTAG+ATGTATAG
  1. 找到对应的Lane结果
    在这里插入图片描述
  2. 软连接到fastq文件夹下面（R1、R2代表read1、read2）
ln -s /data/qiny/rawdata/201112_X-TEN/MU21-130-131_Lane3_RSJCX2011060009_LaneBarcode16_undetermined_data/Undetermined_S0_L003_R1_001.fastq.gz
ln -s /data/qiny/rawdata/201112_X-TEN/MU21-130-131_Lane3_RSJCX2011060009_LaneBarcode16_undetermined_data/Undetermined_S0_L003_R2_001.fastq.gz

在这里插入图片描述

  1. 以sam_MU*文件为索引，建立在不同的Lane(.fastq.gz n)中的pbs拆分脚本
sh /data/qiny/pipeline/basecalling/split_data.sh Undetermined_S0_L003_R1_001.fastq.gz 1
sh /data/qiny/pipeline/basecalling/split_data.sh Undetermined_S0_L003_R2_001.fastq.gz 2

建立脚本后fastq内文件如下
在这里插入图片描述
运行拆分脚本

sh runsam_MU21O-131.1.pbs

运行正常页面如下：在这里插入图片描述
每个样本都会生成一个.fastq.gz的文件在这里插入图片描述

  1. 同样步骤完成Lane2之后，运行combine_sample_LA.pl将LA1与LA2合并,并删LA1与LA2
perl /data/qiny/pipeline/basecalling/combine_sample_LA.pl

三、QC（质控）

此步QC仅是对数据量的统计，不删除任何数据

  1. 删除软连接文件（因为 *.fastq.gz被进行下一步运算，软连接文件过大，耗费资源过多）
rm Undetermined_S0_L003_R*

删除内容：在这里插入图片描述

  1. 对 *.fastq.gz的文件生成用于QC的pbs文件
sh /data/qiny/pipeline/basecalling/runQC.sh MU21O-131

运行结果：
在这里插入图片描述

  1. 运行pbs文件

运行单个

qsub runs1372010170158_1.fastq.gz.pbs

在这里插入图片描述

运行所有

sh run.sh

在这里插入图片描述

四、SNP and Indel

  1. 下载MU21的CFG文件
    在这里插入图片描述
    并使用notepad++修改sample文件

在这里插入图片描述
整理样本名为“S+样本编号+空格”在这里插入图片描述
修改文库名及样本名在这里插入图片描述
修改后的 *.CFG文件和 *.SH文件，上传至MU21O-131文件夹下在这里插入图片描述

  1. 运行 *.cfg文件,建立out文件夹、子文件夹、批量提交文件（01_pbs.sh）、callsnv文件（02_callsnv.pbs）和删除短序列等
sh exome_pipe_mu21.sy210.sh sample.MU21.sy210.cfg

运行完成后会在MUO-131下多一个out文件夹在这里插入图片描述

  1. 进入out/code文件夹，QC结束后运行01_pbs.sh文件，结束后运行02_callsnv.pbs
cd out/code/
sh 01_pbs.sh

sh 02_callsnv.pbs

结果会显示在out下的05和06文件夹
发送到群里的文件如下：
在这里插入图片描述

Xtoothache
关注
【生信】使用VSEARCH处理双端测序数据
小哲的博客
03-01 6769
使用VSEARCH处理双端测序数据 一般情况下，我们从ENA获取的数据为双端测序数据，而且已经去除了引入，那么如何从测序数据获得丰度数据呢？可以使用的软件有VSEARCH、USEARCH以及QIIME等。本文以VSEARCH为例，从输入双端测序序列到最终OTU表的生成。 #!/bin/bash ### 使用VSEARCH处理双端测序数据 ### 目标是得到OTU表和注释信息 ...
基因测序数据处理平台高性能解决方案
01-02
基因测序数据处理平台高性能解决方案
单细胞RNA测序（scRNA-seq）SRA数据下载及fastq-dumq数据拆分.md
最新发布
05-12
单细胞RNA测序（scRNA-seq）SRA数据下载及fastq-dumq数据拆分
将测序的R1和R2文件merge到一起
03-25
在进行snp的获取之前，先把每一个个体的所有lane的测序文件都合并到一起。
生信学习笔记：测序数据质控
twocanis的博客
12-01 7864
文章目录测序数据质控1.原始数据统计2.质控数据统计 测序数据质控 Illumina 测序属于第二代测序技术，单次运行能产生数十亿级的reads，如此海量的数据无法逐个展示每条read的质量情况；运用统计学的方法，对所测序列进行统计和质控，可以从宏观上直观地反映出样本的文库构建质量和测序质量。 1.原始数据统计 1）原始数据获得 Illumina 平台通过将测序图像信号经CASAVA碱基识别(Base Calling)转换成文字信号，并将其以 fastq 格式储存起来作为原始数据。根据index序列区
第二、三代基因组测序数据混合拼接软件综述
wangprince2017
08-19 1059
第二、三代基因组测序数据混合拼接软件综述 王昊1 ,陈挺1,2 摘要: DNA测序是生物信息学研究的重要内容之一，对测序序列的从头拼接是其中非常基础而重要的步骤。随着测序技术的不断更新，新的第三代测序数据拥有更长的序列长度、高错误率等性质，针对这些性质，同时使用二代、三代测序数据进行混合拼接是获得更好的拼接结果一种重要方式。本文介绍了现有的混合拼接软件的基本原理，并比较了不同软件拼接结果。最后，本文对选择拼接软件以及提出新的混合拼接方法的研究方向给出了建议。 关键词:...
Seurat | 超好用的单细胞测序数据合并（3‘和5‘数据合并）（一）
m0_72224305的博客
10-23 4100
🤗 Seurat | 超好用的单细胞测序数据合并（3'和5'数据合并）（一）
NGS-analysis 二代测序数据分析
05-10
二代测序数据分析 Resources Readme Activity Stars 325 stars Watchers 12 watching Forks 154 forks Report repository Releases No releases published Packages No packages published Footer
测序数据标准品的家系关系-NA12878
10-16
测序数据标准品的家系关系-NA12878 测序数据标准品的家系关系是指通过高通量sequencing技术获得的测序数据，并将其与已知的参考基因组进行比对，以确定其家系关系。 NA12878是常用的测序数据标准品之一，它来自于...
高通量测序数据统计分析
10-11
### 高通量测序数据统计分析 #### 核心知识点概述 在现代生物信息学领域，高通量测序技术已经成为研究基因表达、蛋白质-DNA相互作用以及遗传变异的重要工具。本文将从以下几个方面详细介绍高通量测序数据的统计...
splitfp:拆分第二代和第三代测序读物
04-03
Splitfp Splitfp是一款可以拆分第二代和第三代测序数据的软件。 安装 安装方法1 git clone https://github.com/zxgsy520/splitfp.git cd splitfp chmod 755 splitfp 安装方法2 wget https://github.com/zxgsy520/splitfp/archive/v2.2.1.tar.gz tar -zxvf v2.2.1.tar.gz cd splitfp-2.2.1 chmod 755 splitfp 指示 usage: splitfp [-h] -r1 FILE [FILE ...] [-r2 FILE [FILE ...]] [-w FILE] [-n INT] [-o STR] name: splitfp.py Split a specific format for mu
如何分析测序结果
08-03
如今测序在分子诊断行业已经成为不可或缺的一项技术，掌握测序技术的报告解读对卫生医疗人员至关重要
FastQC 与 质控
weixin_57830892的博客
10-14 4690
1.FastQC的作用 在建库过程或者在测序仪测序中存在的数据问题或者数据偏移问题，从而得到QC报告 drop down selector FastQC官方教程
vcf 文件拼接（snp、indel）
dujidan的博客
05-08 1738
bgzip -c raw_snp_vcf > raw_snp_bgzip.gz bcftools index raw_snp_bgzip.gz bgzip -c raw_indel_vcf > raw_indel_bgzip.gz bcftools index raw_indel_bgzip.gz bcftools concat -a -D raw_snp_bgzip.gz raw_indel_bgzip.gz -o ${raw_snp_indel_vcf...
NGS数据分析实践：05. 测序数据的基本质控 [1] - FastQC
hucy_Bioinfo
10-01 8715
一般我们可以从如下几个方面来分析测序数据质量： read各个位置的碱基质量值分布 (Per base sequence quality) 碱基的总体质量值分布 (Per sequence quality scores) read各个位置上碱基分布比例 (Per base sequence content) GC含量分布 (Per sequence GC content) read各位置的N含量 (Per base N content) read是否还包含测序的接头序列 (Adapter Content)
SCS【23】单细胞转录组之数据整合 (Harmony)
weixin_41368414的博客
05-06 1718
桓峰基因公众号推出单细胞生信分析教程并配有视频在线教程，目前整理出来的相关教程目录如下：Topic 6. 克隆进化之 CanopyTopic 7. 克隆进化之 CardelinoTopic 8. 克隆进化之 RobustCloneSCS【1】今天开启单细胞之旅，述说单细胞测序的前世今生SCS【2】单细胞转录组 之 cellrangerSCS【3】单细胞转录组数据 GEO 下载及读取SCS【4】单细...
【bioinfo】bbtools:bbmerge 二代测序reads合并工具了解
lillianqdzpw
07-13 2342
bbtools： 官网使用说明 参考文献 bbmerge $ {software_path}/bbmap/bbmerge.sh Written by Brian Bushnell and Jonathan Rood Last modified June 26, 2019 Description: Merges paired reads into single reads by overlap detection. With sufficient coverage, can merge nonoverl
FPGA杂记
weixin_43216860的博客
04-18 470
FPGA程序固化的时候可能会遇到固化成功但程序不能正常执行的问题，这时候就需要把烧写到flash中.bin文件读出来和原始的.bin文件进行比对；通常原始的.bin文件对于调试人员来说是杂乱且无序的，不利于比对，这时就非常需要一个合适的.bin文件（内容由调试人员规定）来帮助我们减少工作量，方便比对以提高调试效率。
通过生成mcs、bin文件将程序固化到FPGA
EfunStudy的博客
01-14 3051
通过将程序固化到FPGA，可以做到断电不丢失程序，上电之后就自动启动程序的作用，整个固化步骤主要分为3步，一是修改约束文件，二是生成mcs或bin文件，三是将程序固化到开发板flash。
双端测序数据合并
05-30
双端测序数据合并可以使用以下步骤： 1. 安装 PEAR 软件，PEAR 是一种用于合并双端 Illumina 测序数据的软件。可以在 PEAR 的官方网站上下载和安装。 2. 在终端中运行以下命令合并数据： ``` pear -f forward_reads.fastq -r reverse_reads.fastq -o merged_reads.fastq ``` 其中，`forward_reads.fastq` 和 `reverse_reads.fastq` 分别是原始的双端测序数据文件，`merged_reads.fastq` 是合并后的数据文件。 3. PEAR 会将两个文件中的序列根据重叠区域进行合并，并生成一个包含合并序列的 fastq 文件。在合并后的 fastq 文件中，每个序列的头部都会包含原始的 forward 和 reverse 序列的信息。 需要注意的是，双端测序数据合并之前需要进行质量控制和去除低质量序列，以保证合并后的数据质量。同时，对于不同的测序平台和测序数据，合并时需要根据实际情况进行参数调整。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值