R语言mlr3机器学习实现类平衡-balance
问题实现
mlr3pipelines提供了许多数据预处理的模块,关于处理类不平衡也有做封装,主要提供了以下两种方法。
1. PipeOpClassBalancing
描述
对[’ Task '][mlr3::Task]可进行过欠采样,以只保留多数类的一小部分行,也可对少数类进行过采样(重复数据点)。抽样只发生在训练阶段。
R语言代码实现
library("mlr3")
library("mlr3pipelines")
task = tsk("spam")
opb = po("classbalancing")
# target class counts
table(task$truth())
# double the instances in the minority class (spam)
opb$param_set$values = list(ratio = 2, reference = "minor",
adjust = "minor", shuffle = FALSE)
result = opb$train(list(task))[[1L]]
table(result$truth())
# up or downsample all classes until exactly 20 per class remain
opb$param_set$values = list(ratio = 20, reference = "one",
adjust = "all", shuffle = FALSE)
result = opb$train(list(task))[[1]]
table(result$truth())
2. PipeOpSmote
描述
通过创建生成更均衡的数据集,使用SMOTE算法合成少数类的实例。该算法基于最接近的“K”个邻居为每个少数实例采样一个新的数据点,只能应用于纯数字特征的任务。
R语言代码实现
library("mlr3")
library("mlr3pipelines")
# Create example task
data = smotefamily::sample_generator(1000, ratio = 0.80)
data$result = factor(data$result)
task = TaskClassif$new(id = "example", backend = data, target = "result")
task$data()
table(task$data()$result)
# Generate synthetic data for minority class
pop = po("smote")
smotedata = pop$train(list(task))[[1]]$data()
table(smotedata$result)