R语言实现对模型的参数优化与评价KS曲线、ROC曲线、深度学习模型训练、交叉验证、网格搜索

目录

一、模型性能评估

1、数据预测评估

2、概率预测评估

二、模型参数优化

1、训练集、验证集、测试集的引入

2、k折线交叉验证

2、网格搜索

---

一、模型性能评估

1、数据预测评估

### 数据预测评估 ###

# 加载包，不存在就进行在线下载后加载

if(!require(mlbench)) install.packages("mlbench")

library(mlbench)

data("BostonHousing")

# 数据分区

library(caret)

library(ggplot2)

library(lattice)

index <- createDataPartition(BostonHousing$medv,p = 0.75,list = FALSE)

train <- BostonHousing[index,]

test <- BostonHousing[-index,]

# 利用训练集构建模型,并对测试集进行预测

set.seed(1234)

fit <- lm(medv ~ .,data = train)

pred <- predict(fit,newdata = test)

# 自定义函数计算数值预测模型的评估指标

numericIndex <- function(obs,pred){

  # 计算平均绝对误差MAE

  MAE <- mean(abs(obs-pred))

  # 计算均方误差MSE

  MSE &