GWAS 结果批量整理
今天分享一个算法，主要是利用R语言对GWAS分析得到的结果进行批量整理，适用于批量筛选关键SNP位点与对应的基因或QTL，尤其是多个表型多个材料的批量分析。
GWAS（全基因组关联分析）是一种常用的遗传学研究方法，用于探索基因与表型之间的关联。它通过对大规模样本集合进行基因组广泛扫描，寻找与特定表型（如疾病、性状等）相关的遗传变异。
GWAS结果示例
通过GWAS分析后会得到一个储存显著SNP的结果文件，假设其命名为“组别.表型.模型.阈值.result.txt”,理论上会有很多个这种格式的文件，文件内容如下：
"INDEX" "SNP" "CHROM" "POS" "REF" "ALT" "Effect" "SE" "trait"
"1" "rs151515" 1 25554 "C" "A" -1.630526 0.39931444 6.688587e-06
"2" "rs32151" 1 72857 "T" "TAC" 0.734972 0.17574796 9.271553e-06
第二列是SNP的位点名称，最后一列是对应的P值，这两个信息非常关键。
整理思路与算法解释
首先，library(tidyverse)加载R包，代码流程均使用优雅的tidy框架。
library(tidyverse)
step1：原始数据整理
大致思路是先读取当前目录下的文件列表，然后依次循环执行计算过程，识别表型、模型、P值等参数，然后传递给筛选函数，并对符合条件的值进行标注，最后会将结果写出为一个csv文件，用于下一步的计算。
id_list <- list.files("./data/",pattern = "*.txt")
for (id in id_list){
file_name <- paste0("./",id)
atom <- str_split(id,"[.]")
# Group A -----
if (length(atom[[1]]) == 5){
phe <- atom[[1]][1]
way <- atom[[1]][2] %>% str_replace("Farm","")
plast <- atom[[1]][3]
# 特异性标注P值并将其装换为数字型
if (plast == "1e-5"){plast <- 6}else{plast <- as.numeric(plast)}
print(file_name)
# 计算P值并筛选
df <- read_delim(file_name,delim = " ",
col_types = cols(CHROM = col_character()))
colnames(df)[9] <- way
df %>%
mutate(log = round(-log10(!!sym(way)),1)) %>%
filter(log > plast) ->data
# 转换染色体编号
i <- 1
new <- data.frame(matrix(ncol = 2))
new <- new[-1,]
for (x in c(1:7)){
for (y in c("A","B","D")){
chr <- paste0(x,y)
# print(chr)
new_add <- c(i,chr)
new <- rbind(new,new_add)
i <- i + 1
}
}
colnames(new) <- c("CHROM","chr")
# 替换染色体编号
data %>%
left_join(new,by = "CHROM") ->data2
data2$loc <- phe
# 待标注的log值筛选
data2$logwt <- ifelse(data2$log > 10,paste0('log=',data2$log,sep=""),NA)
data2$MB <- data2$POS/1000000
# 写出为中间结果
write_csv(data2,paste0("./out/1_GWAS_Result_txt2csv/",phe,".",
way,".csv"))
}
}
获取文件列表:
使用list.files()函数，查找目录中所有满足文件名模式为"*.txt"的文件，并将它们的文件名存储在id_list列表中。
遍历文件列表:
使用一个循环来遍历id_list中的每个文件名（变量名为id）。
文件名解析:
使用str_split()函数，将文件名（id）按照"."分割成多个部分，存储在atom中。
条件判断 (Group A):
检查atom中的部分数量是否为5，如果是，进入下一步。这个条件判断似乎是要筛选特定格式的文件名。
变量赋值:
从atom中获取不同部分的值，分别赋给phe、way和plast变量。 对way进行处理，将其中的"Farm"替换为空字符串。
特殊值处理:
将plast的值与字符串"1e-5"进行比较，如果相等，将plast设置为6，否则将其转换为数值类型。
数据读取与处理:
使用read_delim()函数读取文件内容，并指定列类型。数据将被读入名为df的数据框。 修改df的第9列名称为way。 使用mutate()函数，计算并添加新的"log"列，值为way列的负对数的舍入值。 使用filter()函数，筛选出"log"列大于plast的行，结果存储在名为data的数据框中。
染色体编号转换:
使用两个嵌套循环，生成一个新的数据框new，其中存储了染色体编号的对应关系。 生成的new数据框将被用于将染色体编号从数字格式转换为字符格式。
数据处理与替换:
使用left_join()函数，将之前筛选得到的data数据框与new数据框按照"CHROM"列进行连接，结果存储在data2中。 将data2中的"CHROM"列替换为之前提取的phe值。 根据条件，计算并添加"logwt"列和"MB"列。
结果输出:
使用write_csv()函数，将经过处理的data2数据框写入指定路径（"./out/1_GWAS_Result_txt2csv/"）下，以"phe.way.csv"的格式命名。
step2：计算变异位点类型
首先进行初始化，设置参数确定连续变异位点的评判标准，然后读取参考基因组，新建内存空间用于添加候选标记位点。
# 根据GWAS得到的显著性SNP，将其标注到参考基因组上对应位置（300kb内为连续，大于300kb为单标记）
### 数据导入与参数设置 ====================================================================
windows_near <- 300*1000 #默认300kb内为连续
# 连续位点的评判标准是任意两个相邻位点的距离小于windows_near
id_list <- list.files("./out/1_GWAS_Result_txt2csv/")
Ref <- read_csv("./data/Ref.csv",show_col_types = FALSE)
Ref_chr <- Ref
all_single <- list() #汇总单标记
all_near <- list() #汇总连续标记
对于每个文件都要进行循环操作，以下列举其中一个文件的计算思路：
file_name <- paste0("./out/1_GWAS_Result_txt2csv/",id)
# loc <- substr(file_name,14,18)
# job <- substr(file_name,10,26)
atom <- str_split(id,"[.]")
print(file_name)
data <- read_csv(file_name,show_col_types = FALSE)
loc <- data$loc[1]
job <- paste0(atom[[1]][1],"_",atom[[1]][2],"_",atom[[1]][3])
way <- atom[[1]][3]
以下进行单标记位点的筛选：主要的思路是对每一个位点，计算其前后相邻位点的距离，针对开头和结尾进行特殊考虑，中间的位点识别其是否相邻距离小于阈值。
# 计算基因位置间距
data$longH <- NA
data$longQ <- NA
data$class <- NA
for (i in 2:nrow(data)){
a <- data$POS[i]
i <- i+1
b <- data$POS[i]
i <- i-2
c <- data$POS[i]
i <- i+1
if(i == nrow(data)){
data$class[i] <- "wei"
break
}
if(a-c<0){
data$class[i] <- "shou"
next
}
if(b-a<0){
data$class[i] <- "wei"
next
}
data$longH[i] <- (b-a)
data$longQ[i] <- (a-c)
}
data$class[1] <- "shou"
# 对距离进行区分,按照windows_near为区分阈值
for (i in 1:nrow(data)){
if (is.na(data$longH[i]) | is.na(data$longQ[i])){
next
}
if (data$longH[i]>windows_near & data$longQ[i]>windows_near){
data$class[i] <- "single"
}
}
找出了连续的标记位点后，需要将其进行整理，转换为数据框格式，第一列为物理位置，第二列为信息，第三列为染色体，第四列为表型区，方法如下：
# 单标记位置信息写入single
single <- data.frame(matrix(ncol = 4))
single <- single[-1,]
colnames(single) <- c("positon","info","chr","loc")
for (i in 1:nrow(data)){
tem_class <- data$class[i]
tem_add <- c(data$POS[i],data$ws[i],data$chr[i],data$loc[i])
ifelse(tem_class == 'single',single <- rbind(single,tem_add),"1")
ifelse(tem_class == 'shou',single <- rbind(single,tem_add),"2")
ifelse(tem_class == 'wei',single <- rbind(single,tem_add),"3")
}
colnames(single) <- c("positon","info","chr","loc")
接下来进行连续型标记位点的查找筛选，首先初始化一个矩阵用于储存中间变量。
需要注意的是连续型位点有两个位置参数，分别代表这个连续区段的开始和结束，另外需要统计该区段内有多少的实际位点。
near <- data.frame(matrix(ncol = 5)) #初始化矩阵
near <- near[-1,]
colnames(near) <- c("p1","p2","info","chr","number")
然后按照染色体进行迭代，每个染色体分开计算，主要步骤如下：
for (x in c(1:7)){
for (y in c("A","B","D")){
chr_id <- paste0(x, y, sep="")
# 将x和y连接起来，形成染色体编号chr_id
foot <- 0
# 步长，用于迭代计算阅读框，初始化为0
for (i in which(data$chr == chr_id)) {
# 遍历data中chr等于chr_id的索引（位点）
if (sum(data$chr == chr_id) < 2) {
next
# 若某个染色体的位点数小于3则跳过当前循环
}
if (foot > 0) {
foot <- foot - 1
next
# 如果foot变量大于0，说明两个位点存在跨越关系，将foot减1，然后跳过当前循环
}
n_pos_1 <- data$POS[i]
# 获取当前位点的位置信息
for (m in which(data$chr == chr_id)) {
n_pos_2 <- data$POS[m]
# 获取另一个位点的位置信息
if (n_pos_2 - n_pos_1 < 0) {
next
# 后一个位点位置小于前一个位点时，跳过当前循环
} else {
if (n_pos_2 - n_pos_1 == 0) {
next
# 两个位点位置相等时，跳过当前循环
} else {
if (n_pos_2 - n_pos_1 < windows_near) {
foot <- foot + 1
# 任意两个位点距离小于预设窗口大小，增加foot的值，跨越一个位点
if (is.na(data$class[i])) {
data$class[i] <- "near"
# 如果位点尚不属于特定类别，则将其标记为"near"
}
} else {
if (foot > 10) {
n_wn <- paste0(data$SNP[i], "-", data$SNP[m-1], ", [", foot, "], Find in ", job)
} else {
n_wn <- paste0(data$SNP[i], "-", data$SNP[m-1], ", Find in ", job)
}
# 构建一个文本信息n_wn，描述了位点之间的关系和发现位置
n_add <- c(n_pos_1, data$POS[m-1], n_wn, data$chr[i], foot)
# 将相关信息存储在n_add向量中
if (is.na(data$class[i])) {
data$class[i] <- "near"
}
# 如果位点尚不属于特定类别，则将其标记为"near"
break
}
}
}
}
if (length(data$POS[m-1]) > 0) {
if (n_pos_1 != data$POS[m-1]) {
near <- rbind(near, n_add)
n_add <- c()
}
}
}
}}
colnames(near) <- c("p1","p2","info","chr","number")
主要是对位点数据进行迭代和处理，根据位点位置以及预设的窗口大小，识别和处理相邻的位点之间的关系，最终将处理后的信息存储在不同变量中。
删除重复数据
由于部分信息统计时出现重复折叠，因此通过下述代码对结果中重复信息进行过滤。
# 删除重复行
near_new <- data.frame(matrix(ncol =5))
near_new <- near_new[-1,]
for (i in 1:nrow(near)){
if (!identical(near$p1[i],near$p2[i])){
new_add <- c(near$p1[i],near$p2[i],near$info[i],near$chr[i],near$number[i])
near_new <- rbind(near_new,new_add)
}
}
colnames(near_new) <- c("p1","p2","info","chr","number")
near <- near_new
按染色体进行标注
连续型变异区段的标注方法：
for (i in 1:nrow(near)){
if (identical(near$chr[i],"Chr")){
my_a <- which.min(abs(as.numeric(near$p1[i]) - as.numeric(chr_1A$Start.1)))
my_b <- which.min(abs(as.numeric(near$p2[i]) - as.numeric(chr_1A$Start.1)))
chr_1A$out[my_a:my_b] <- near$info[i]
}
}
单独型变异位点标注方法：
for (i in 1:nrow(single)){
if (identical(single$chr[i],"1A")){
index <- which.min(abs(as.numeric(single$positon[i]) - as.numeric(chr_1A$X3G.Start.1)))
chr_1A$out[index] <- single$info[i]
OK <- OK+1
}
}
step3：比对参考基因组
第二步中已经对标记位点进行分类整理，接下来将其填入参考基因组对应区间，看看有哪些基因或QTL，主要流程如下：
Ref_file <- "data/Ref.csv"
Ref <- read_csv(Ref_file)
id_list <- list.files("./out/3_Gene_Maping_Result/")
index <- 8
for (id in id_list){
now <- read.csv(paste0("./out/3_Gene_Maping_Result/",id))
atom <- str_split(id,"[.]")
job <- atom[[1]][1]
tem <- bind_cols(tem,now[,8])
colnames(tem)[index] <- job
index <- index + 1
print(id)
}
for (i in 1:nrow(tem)){
# 判断每个基因有多少个对应的位点
tem$End[i] <- ncol(tem) - sum(tem[i,8:ncol(tem)] == "") - 7
}
colnames(tem)[4] <- "CountSNP"
如果想将多个表型或者环境的结果合并到一起，可以通过下面的代码进行操作：
tem$all <- NA
# 将多个环境区的数据合并到同一列-----------
for (i in 1:nrow(tem)){
var_add <- c()
for (m in 8:(ncol(tem)-1)){
if (tem[i,m] == ""){
next
}else{
var_add <- c(var_add,tem[i,m])
}
}
add_info <- str_c(var_add,sep = "",collapse = " ; ")
tem$all[i] <- add_info
}
all_col <- tem[,ncol(tem)]
out <- cbind(tem[,1:7],all_col,tem[,8:(ncol(tem)-1)])
由于上述过程涉及到两次迭代循环，计算量比较大，因此对其进行重构优化，实现并行计算，方法如下：
# 多线程重构并行运算-----------
library(foreach)
library(doParallel)
library(stringr)
# 获取计算机可用线程数
num_cores <- parallel::detectCores() - 2
cl <- makeCluster(num_cores)
registerDoParallel(cl)
n <- nrow(tem)
result <- foreach(i = 1:n, .combine = rbind) %dopar% {
var_add <- c()
for (m in 8:(ncol(tem)-1)){
if (tem[i,m] == ""){
next
} else {
var_add <- c(var_add, tem[i,m])
}
}
add_info <- stringr::str_c(var_add, sep = "", collapse = " ; ")
tem$all[i] <- add_info
return(tem[i, ])
}
# 关闭并行计算
stopCluster(cl)
registerDoSEQ()
# 将结果写回原始数据框tem
tem <- result
step4：特殊结构变异区段查找
有一些大范围的结果变异，比如CNV等也比较重要，因此通过以下算法实现CNV类型初步判断与整理：
opt_snp_near <- 300*1000 # 相邻片段的最大间距,默认为300kb
opt_windows <- 2*1000*1000 # CNV片段的最小宽度，默认阈值为2MB，若连续位点跨度大于该值表示CNV
# CNV的评判标准：在连续型位点中，第一个位点和最后一个位点的间距跨度大于opt_windows
CNV_find <- as.data.frame(matrix(ncol = 7,nrow = 0))
colnames(CNV_find) <- c("p1","p2","info","chr","number","gap","type")
for (page in 1:length(SNP_near_all)){
job <- names(SNP_near_all)[page]
print(job)
job_name <- str_replace(job,".csv","")
if (nrow(SNP_near_all[[page]]) < 3){next} # 过滤小于2行的数据集
df <- SNP_near_all[[page]]
df$gap <- as.numeric(df$p2) -as.numeric(df$p1)
df$type <- NA
for (i in 1:nrow(df)){
# 判断三种特殊情况，过滤具有单个位点的染色体
if (i == 1 & df$chr[i] != df$chr[i+1]){df$type[i] <- "del";next}
if (i == 1 & df$chr[i] == df$chr[i+1]){
if (as.numeric(df$p1[i+1]) - as.numeric(df$p2[i]) < opt_snp_near){
df$type[i] <- str_c(job_name,"_CNV_1")
next
}else{next}
}
if (i == nrow(df) & df$chr[i] != df$chr[i-1]){df$type[i] <- "del";next}
if (df$chr[i] != df$chr[i-1] & df$chr[i] != df$chr[i+1]){df$type[i] <- "del";next}
}
df <- df[which(is.na(df$type)),] # 删除单个染色体
if (nrow(df) == 0){next} # 若删除后数据为空则跳过
# 进行CNV判断
temp_type <- 1 # CNV片段分类计数
for (i in 1:nrow(df)){
foot <- 0 # 记录前进步数
if (!is.na(df$type[i])){
next
}
is_add <- F # 记录是否添加CNV
# 最后一行特殊处理
if (i == nrow(df)){
if (as.numeric(df$p1[i]) - as.numeric(df$p2[i-1]) < opt_snp_near){
df$type[i] <- df$type[i-1]
}else{next}
}
for (index in (i+1):nrow(df)) { #从下一行开始查找连续区段，直到终止
# if (foot != 0){foot <- foot -1 ;next}
if (as.numeric(df$p1[index]) - as.numeric(df$p2[i+foot]) < opt_snp_near){
df$type[i+foot] <- str_c(job_name,"_CNV_",temp_type)
df$type[index] <- str_c(job_name,"_CNV_",temp_type)
is_add <- T
foot <- foot + 1
}else{
break
}
}
if (is_add){
temp_type <- temp_type +1
}
}
out <- df[which(!is.na(df$type)),]
CNV_find <- rbind(CNV_find,out)
}
行文至此，流程结束！
本文由 mdnice 多平台发布
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
