3. 机器学习——sklearn数据集划分与转换器、估计器

一、数据集划分

机器学习一般的数据集会划分为两个部分：

• 训练数据：用于训练，构建模型
• 测试数据：在模型检验时使用，用于评估模型是否有效

1.sklearn数据集划分API

sklearn.model_selection.train_test_split

scikit-learn数据集API介绍

from sklearn.datasets import load_iris
li = load_iris()

print('获取特征值')
print(li.data)
print('获取目标值')
print(li.target)

2. 数据集进行分割

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
li = load_iris()

x_train,x_test,y_train,y_test = train_test_split(li.data,li.target,test_size = 0.25)
print('训练集特征值和目标值：',x_train,y_train)
print('测试集特征值和目标值：',x_test,y_test)

二、转换器、估计器

fit_transform():输⼊入数据直接转换，fit() + transform()功能相同。fit只是对输入的数据做一些前提准备，比如求取平均值或者方差之类的。

1.使用fit_transform()

from sklearn.preprocessing import StandardScaler
s=StandardScaler()
a = s.fit_transform([[1,2,3],[4,5,6]])
print(a)

结果

[[-1. -1. -1.]
 [ 1.  1.  1.]]

2.使用fit() + transform()

from sklearn.preprocessing import StandardScaler
ss =StandardScaler()
a = ss.fit([[1,2,3],[4,5,6]])
print(a)
print()
b = ss.transform([[1,2,3],[4,5,6]])
print(b)

结果

StandardScaler(copy=True, with_mean=True, with_std=True)

[[-1. -1. -1.]
 [ 1.  1.  1.]]

两者结果是相同的，但如果是如果fit输入的数组变了，如下：

from sklearn.preprocessing import StandardScaler
ss =StandardScaler()
a = ss.fit([[2,3,4],[4,5,7]])
print(a)
print()
b = ss.transform([[1,2,3],[4,5,6]])
print(b)

结果

StandardScaler(copy=True, with_mean=True, with_std=True)

[[-2.         -2.         -1.66666667]
 [ 1.          1.          0.33333333]]

可以看到虽然转换的都是数组[[1,2,3],[4,5,6]]，但是fit的内容不一样，最后转换的结果就变了，其实fit的改变也就是转换的标准改变了。

3.估计器