对于属性较多的数据,我们一般都会去计算两两属性之间的相关性,用以探讨属性之间的关系.
相对于皮尔森相关系数,我们更喜欢使用spearman和kendall相关系数,因为作为非参数相关系数,稳定性更好.
一般来说,计算kendall相关系数可以用以下语句:
cor(x, y, method = "kendall")
在本文一开始提到的场景下,这十分耗时.我们可以从以下3个方面减少计算时间:
1.优化算法,pcaPP包提供的cor.fk函数具有更好的效率,大规模计算kendall系数的话,多使用这个函数.
pcaPP::cor.fk(x, y)
2.将任务拆分成几个并行的子任务分别在不同的计算机上运行,如果能够得到这些计算机的权限,这个方法可以归于第3个方法,这里不多讲.
3.将任务拆分成几个并行的子任务分别在某台计算机的多个cpu上进行计算,这是本文的重点.
R语言提供简单并行计算的包有parallel包.下面以实例说明如何进行并行计算.
##### 生成测试数据 #####
library(parallel)
set.seed(0)
n
test
pair
##### 并行计算集群初始化及任务拆分 #####
nt
cl
ichunk
##### f0为非并行计算kendall函数 #####
f0
nc
res
for (i in 1:(nc - 1)) {
tmp
res
}
cbind(pair, res)
}
##### f1为并行计算kendall函数子函数,也可作为主函数使用 #####