机器学习笔记03：sklearn数据集与估计器

机器学习笔记03：sklearn数据集与估计器

sklearn数据集与估计器

1、数据集划分

1. 训练集（较多）一般是75%
2. 测试集（较少）一般是25%

2、 API接口：sklearn.model_selection.train_test_split

1. sklearn数据集API：
   1. sklearn.datasets：加载获取流行数据集
   2. datasets.load_*()：获取小规模数据集，数据包含在datasets里
   3. datasets.fetch_*(data_home=None)：获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/
   4. 获取数据的格式：load和fetch返回的数据类型datasets.base.Bunch(字典格式)
      1. data：特征数据数组，是 [n_samples * n_features] 的二维numpy.ndarray 数组
      2. target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
      3. DESCR：数据描述
      4. feature_names：特征名,新闻数据，手写数字、回归数据集没有
      5. target_names：标签名,回归数据集没有

3、 sklearn分类数据集

from sklearn.datasets import load_iris

li = load_iris()

print("获取特征值")
print(li.data)
print("目标值")
print(li.target)
print(li.DESCR)

4、 数据集进行分割:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

li = load_iris()

# print("获取特征值")
# print(li.data)
# print("目标值")
# print(li.target)
# print(li.DESCR)

# 训练集train x_train y_train
x_train,x_test,y_train,y_test = train_test_split(li.data,li.target,test_size = 0.25)
print('训练集的特征值和目标值',x_train,y_train)
print('测试集的特征值和目标值',x_test,y_test)

6. 用于分类的大数据集：sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
   subset: ‘train’或者’test’,‘all’，可选，选择要加载的数据集.训练集的“训练”，测试集的“测试”，两者的“全部”

from sklearn.datasets import load_iris,fetch_20newsgroups
from sklearn.model_selection import train_test_split

li = load_iris()

news = fetch_20newsgroups(subset='all')
print(news.data)
print(news.target)

5、 sklearn回归数据集

from sklearn.datasets import load_iris,load_boston
from sklearn.model_selection import train_test_split

lb = load_boston()

print("获取特征值")
print(lb.data)
print("目标值")
print(lb.target)
print(lb.DESCR)

6、转换器与估计器

1. 转换器(Transformer)：实现特征工程API
2. 估计器（estimator）：实现了算法的API