统计学习:模型评估与验证--K折交叉验证与自助法

一、K折交叉验证
如果给定的样本数据充足,进行模型选择的一种简单方法是随机的将数据集切分成三部分,分为训练集,验证集和测试集。训练集用来训练模型,一般来说数据量要更大一些,验证集用于模型的选择,而测试集用于最终对学习方法进行评估(查看模型泛化能力)
在学习到的不同复杂度的模型中,选择对验证集有最小预测误差的模型,由于验证集有足够多的数据,用他对模型选择也是有效的。
但是,在许多实际应用中数据时不充足的。为了更好地选择模型,可以采用交叉验证的方法。交叉验证的基本思想就是重复的使用数据;把给定的数据进行切分,将切分的数据集组合为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。
课程中老师给出了使用K折交叉验证来选择k近邻算法的超参数例子,计算不同的k取值下,模型的精度,以此来选择合适的超参数。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
# 另外一个绘图工具,底层是matplotlib,在基础上进行改进
import seaborn as sns
from sklearn.metrics import accuracy_score
from sklearn import datasets # 导入数据集
# 导入数据集划分工具
from sklearn.model_selection import train_test_split, cross_val_score
# 标准化
from sklearn.preprocessing import StandardScaler
# 导入模型
from sklearn.linear_model import LogisticRegression
# 导入k近邻包
from sklearn.neighbors import KNeighborsClassifier
# 导入数据集
iris = datasets.load_iris()
# 将模型分为数据和标签
X, target = iris.data, iris.target
# 数据标准化,计算数据的平均值和标准偏差
X = StandardScaler().fit_transform(X)
def K_nn_model_train(X, y):
    # 采用十次交叉验证法对k近邻算法的超参数进行选择 划分数据集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=111, stratify=y)
    # 超参数区间
    k = range(1, 31)
    # 存储每次调参的10次交叉验证均值
    cv_scores = []
    for i in k:
        knn = KNeighborsClassifier(i,algorithm='brute')
        scores = cross_val_score(knn, X_train, y_train, scoring='accuracy', cv=10)
        cv_scores.append
  • 1
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值