机器学习-交叉验证 : python数据集划分

原创 2018年04月16日 10:45:22

模型选择的两种方法:正则化(典型方法)、交叉验证。

这里介绍交叉验证及其python代码实现。

交叉验证

如果给定样本数据充足,进行模型选择的一种简单方法是随机地将数据集切分为3部分,分为训练集、验证集和测试集。

训练集:训练模型

验证集:模型的选择

测试集:最终对模型的评估

在学习到不同复杂度的模型中,选择对验证集有最小预测误差的模型。由于验证集有足够多的数据,用它进行模型选择也是有效的。在许多实际应用中数据不充分的情况下,可以使用交叉验证方法。

基本思路:重复地使用数据,把给定数据进行切分,分为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。

简单交叉验证:

随机将数据划分为两部分,训练集和测试集。一般 70%的数据为训练集,30%为测试集。

代码(划分训练集,测试集):

from sklearn.cross_validation import train_test_split
# data (全部数据)   labels(全部目标值)     X_train 训练集(全部特征)  Y_train 训练集的目标值
X_train, X_test, Y_train, Y_test = train_test_split(data,labels, test_size=0.25, random_state=0) #这里训练集75%:测试集25%

其中的 random_state

         源码解释 : int, RandomState instance or None, optional (default=None)

        int, RandomState instance or None, optional (default=None)If int, random_state is the seed used by the random number generator;
        If RandomState instance, random_state is the random number generator;
        If None, the random number generator is the RandomState instance used
        by `np.random`.

大意就是:如果设置一个具体值的话,比如random_state=10,则每次划分后的数据都一样,运行多次也一样。如果设为None, 即random_state=None,则每次划分后的数据都不同,每一次运行划分的数据都不同。

代码(划分训练集,验证集,测试集)

from sklearn import cross_validation

train_and_valid, test = cross_validation.train_test_split(data, test_size=0.3,random_state=0)  # 先分为两部分:训练和验证  ,  测试集
train, valid = cross_validation.train_test_split(data, test_size=0.5,random_state=0)   # 再把训练和验证分为:训练集 ,验证集


      


交叉验证数据集划分方法总结

做交叉验证时常用的数据集划分方法:1.ShuffleSplit()格式:ShuffleSplit(n_splits=10, test_size=0.2, random_state=0)此方法先将原始训...
  • zs15321583801
  • zs15321583801
  • 2018-03-25 14:10:13
  • 33

selenium+python爬取简书文章

页面加载逻辑当你兴致勃勃地从网上学习了基本的爬虫知识后就像找个目标实践下,拥有大量文章的简书包含了大量的有价值信息,所以自然成为了你的选择目标,如果你尝试之后会发现并没有想象的那么简单,因为里面包含了...
  • zhusongziye
  • zhusongziye
  • 2018-04-15 14:21:54
  • 7

python的函数

python对passwd进行排序的代码 #! /usr/bin/env python # -*- coding: utf-8 -*- """ ----------...
  • wushan1992
  • wushan1992
  • 2018-04-15 16:33:17
  • 12

python 函数

一,函数的定义def a(args):    pass函数代码块以def关键字开头,+ 函数名+ (参数):然后第一行内容应该缩进,然后写我们自己的代码逻辑return 关键字     代表函数执行完...
  • weixin_39318540
  • weixin_39318540
  • 2018-04-15 16:05:12
  • 11

Python_反射

''' 反射 hasattr(obj, name):判断一个对象obj里是否包含名为name的属性或方法(hasattr是通过调用getattr(object, str)是否抛出异常来实现...
  • UserPython
  • UserPython
  • 2018-04-15 21:39:24
  • 25

python递归函数

递归Recursion函数直接或者简洁调用自身就是递归递归一定要有边界条件当边界条件满足时return递归一定要有退出条件,否则是无限调用递归调用的深度不宜过深sys.getrecursionlimi...
  • tc2019
  • tc2019
  • 2018-04-16 09:12:00
  • 7

python glob

https://blog.csdn.net/u010472607/article/details/76857493http://www.cnblogs.com/lovemo1314/archive/2...
  • MiniCnCoder
  • MiniCnCoder
  • 2018-04-15 17:08:31
  • 6

Python 环境安装

1.安装 JDK2.安装 Eclipse3.安装 Python  下载Python:https://www.python.org/downloads/4.在Eclipse中安装pydev插件  启动E...
  • jason_117
  • jason_117
  • 2018-04-15 14:37:56
  • 5

pydev开发环境搭建(python)

一、安装Eclipse1、安装jdk以及配置环境变量2、下载Eclipse IDE for Java EE Developers(根据实际情况选择32位还是64位)地址 :http://www.ecl...
  • abc7845129630
  • abc7845129630
  • 2018-04-15 20:09:37
  • 31

6. Python 函数

1. 函数的写法,函数的调用【函数的一般形式】定义一个函数要有以下规则:(1)函数代码块以 def 关键词开头,后接函数标识符名称和小括号();(2)任何传入参数和自变量必须放在小括号内,小括号内可以...
  • pyo_oyp
  • pyo_oyp
  • 2018-04-15 17:27:05
  • 8
收藏助手
不良信息举报
您举报文章:机器学习-交叉验证 : python数据集划分
举报原因:
原因补充:

(最多只允许输入30个字)