library(snow)
library(RMySQL)
#read info from sql
sql_data<-"select * from info_zx"
conn<-dbConnect(MySQL(),user="",password="",dbname="",host="") #开启数据库连接
data_info<-dbGetQuery(conn,sql_data) #获得原始数据
dbDisconnect(conn) #关闭数据库连接
#提取zx的mpid
mp_id <- data_info[,1]
#打开20个线程
cl <- makeSOCKcluster(rep('localhost',20))
#library
clusterEvalQ(cl,source('./library.R'))
clusterEvalQ(cl,source('./trainAndtest.R'))
timeInfo <- system.time(
clusterApplyLB(cl,mp_id,trainAndtest(mp_id))
)
#有的数据有错运行会出错统计哪些没有计算(未完成)
files <- dir('./')
files <- as.numeric(files)
运行时间
> timeInfo
user system elapsed
0.052 0.056 25.596