随机森林降维matlab代码,在随机森林之前降维的PCA

我的经验是，RF之前的PCA不是一个很好的优势，如果有的话。主成分回归(PCR)是例如何时，PCA协助在OLS线性回归之前调整训练特征，这对于稀疏数据集非常需要。由于RF本身已经在没有假设线性的情况下执行了良好/公平的正则化，所以它不一定是优势。也就是说，我发现自己两周前为R写了一个PCA-RF封装器。该代码包括由100个仅包含5个真正线性分量的特征组成的数据集的模拟数据集。在这种情况下，使用PCA进行预滤波实际上是一个小优点。代码是无缝实现的，因此每个RF参数都可以简单地传递给RF。加载矢量将保存在model_fit中以在预测期间使用。

@我希望能够知道哪些变量对我的模型更重要，但是如果我使用PCA，我只能说出哪些PC更重要。

简单的方法是在没有PCA的情况下运行并获取变量重要性，并期望为PCA-RF找到类似的东西。

令人厌倦的方式，用自己的可变重要性代码将PCA-RF包装成新的装袋方案。可以在50-100行左右完成。

为PCA-RF的烃源代码建议：

#wrap PCA around randomForest, forward any other arguments to randomForest

#define as new S3 model class

train_PCA_RF = function(x,y,ncomp=5,...) {

f.args=as.list(match.call()[-1])

pca_obj = princomp(x)

rf_obj = do.call(randomForest,c(alist(x=pca_obj$scores[,1:ncomp]),f.args[-1]))

out=mget(ls())

class(out) = "PCA_RF"

return(out)

}

#print method

print.PCA_RF = function(object) print(object$rf_obj)

#predict method

predict.PCA_RF = function(object,Xtest=NULL,...) {

print("predicting PCA_RF")

f.args=as.list(match.call()[-1])

if(is.null(f.args$Xtest)) stop("cannot predict without newdata parameter")

sXtest = predict(object$pca_obj,Xtest) #scale Xtest as Xtrain was scaled before

return(do.call(predict,c(alist(object = object$rf_obj, #class(x)="randomForest" invokes method predict.randomForest

newdata = sXtest), #newdata input, see help(predict.randomForest)

f.args[-1:-2]))) #any other parameters are passed to predict.randomForest

}

#testTrain predict #

make.component.data = function(

inter.component.variance = .9,

n.real.components = 5,

nVar.per.component = 20,

nObs=600,

noise.factor=.2,

hidden.function = function(x) apply(x,1,mean),

plot_PCA =T

){

Sigma=matrix(inter.component.variance,

ncol=nVar.per.component,

nrow=nVar.per.component)

diag(Sigma) = 1

x = do.call(cbind,replicate(n = n.real.components,

expr = {mvrnorm(n=nObs,

mu=rep(0,nVar.per.component),

Sigma=Sigma)},

simplify = FALSE)

)

if(plot_PCA) plot(prcomp(x,center=T,.scale=T))

y = hidden.function(x)

ynoised = y + rnorm(nObs,sd=sd(y)) * noise.factor

out = list(x=x,y=ynoised)

pars = ls()[!ls() %in% c("x","y","Sigma")]

attr(out,"pars") = mget(pars) #attach all pars as attributes

return(out)

}

一个运行的代码示例：

#start script------------------------------

#source above from separate script

#test

library(MASS)

library(randomForest)

Data = make.component.data(nObs=600)#plots PC variance

train = list(x=Data$x[ 1:300,],y=Data$y[1:300])

test = list(x=Data$x[301:600,],y=Data$y[301:600])

rf = randomForest (train$x, train$y,ntree =50) #regular RF

rf2 = train_PCA_RF(train$x, train$y,ntree= 50,ncomp=12)

rf

rf2

cat("rf, R^2:",cor(test$y,pred_rf )^2,"PCA_RF, R^2", cor(test$y,pred_rf2)^2)

pred_rf = predict(rf ,test$x)

pred_rf2 = predict(rf2,test$x)

cor(test$y,predict(rf ,test$x))^2

cor(test$y,predict(rf2,test$x))^2

pairs(list(trueY = test$y,

native_rf = pred_rf,

PCA_RF = pred_rf2)

)