交叉验证python代码_python机器学习,交叉验证

这是个正常的knn训练

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=4)

knn = KNeighborsClassifier(n_neighbors=5)

knn.fit(X_train,y_train)

y_pred = knn.predict(X_test)

print(knn.score(X_test,y_test))

结果:

0.973684210526以上的代码意思是加载一个数据集,然后用train_test_split方法进行随机划分训练集和测试集

然后用knn算法进行训练得出模型的得分

以上方法有一个不足之处就是没有充分利用数据集,而且模型的效果根样本的划分有很大的关系,因此模型的好坏带了随机性.

交叉验证概述

将原始数据分成K组(一般是均分),将每个子集数据分别做一次验证集,其余的K-1组子集数据作为训练集,这样会得到K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标.K一般大于等于2,实际操作时一般从3开始取,只有在原始数据集合数据量小的时候才会尝试取2. 而K-CV 的实验共需要建立 k 个models,并计算 k 次 test sets 的平均辨识率。在实作上,k 要够大才能使各回合中的 训练样本数够多,一般而言 k=10 (作为一个经验参数)算是相当足够了。

改进上面的代码

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

from sklearn.cross_validation import cross_val_score

knn = KNeighborsClassifier(n_neighbors=5)

#会随机的分成5份训练集和测试集

scores = cross_val_score(knn,X,y,cv=5,scoring='accuracy')

print(scores)

print(scores.mean())

几组训练集的训练得分结果

[ 0.96666667 , 1. , 0.93333333 , 0.96666667 , 1. ]

用一个平均得分来衡量

0.973333333333

利用cross_val_score调整参数

在上面的例子中用knn模型来训练数据,模型中n_neighbors的参数我们写了n_neighbors=5,但是事实上我们不知道等于5是不是最好的选择,在这种情况下面我们可以用for循环结合交叉验证cross_val_score,选择最好的参数方法,如下面代码

from sklearn.cross_validation import cross_val_score

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

k_range = range(1,31)

k_scorews = []

for k in k_range:

knn = KNeighborsClassifier(n_neighbors=k)

scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')

loss = -cross_val_score(knn,X,y,cv=10,scoring='mean_squared_error')

k_scorews.append(scores.mean())

plt.plot(k_range,k_scorews)

plt.xlabel('Value of K for KNN')

plt.ylabel('Cross-Validated Accuracy')

plt.show()

结果如下

可以看出n_neighbors在13到20的区间得分是最高的,因此我们可以调整参数为

KNeighborsClassifier(n_neighbors=13)

K折交叉验证是一种常用的评估机器学习模型性能的方法,可以有效地避免过拟合和欠拟合的问题。具体来说,K折交叉验证将数据集分成K个相等的子集,每个子集依次作为验证集,其余K-1个子集作为训练集,这样就可以得到K个模型的性能指标,最终取平均值作为模型的性能指标。 Python中可以使用scikit-learn库中的KFold函数实现K折交叉验证。以下是一个简单的例子: ```python from sklearn.model_selection import KFold from sklearn.linear_model import LinearRegression from sklearn.datasets import load_boston # 加载波士顿房价数据集 boston = load_boston() X, y = boston.data, boston.target # 定义K折交叉验证器 kf = KFold(n_splits=5) # 定义线性回归模型 model = LinearRegression() # 进行K折交叉验证,并输出每个模型的得分 for train_index, test_index in kf.split(X): X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] model.fit(X_train, y_train) score = model.score(X_test, y_test) print(score) ``` 在上述代码中,我们首先加载了波士顿房价数据集,然后定义了一个5折交叉验证器。接着,我们定义了一个线性回归模型,并使用KFold函数进行K折交叉验证。在每一次交叉验证中,我们将数据集分成训练集和测试集,然后使用线性回归模型进行训练和预测,并输出每个模型的得分。最终,我们可以将这些得分取平均值作为模型的性能指标。 希望这个例子可以帮助你理解K折交叉验证的实现方法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值