30、机器学习数据集与数据转换

一、数据集
将数据划分为训练集、测试集，训练集建立模型，测试集评估模型。常见划分为训练集:测试集=0.75::0.25。
sklearn中的数据集：datasets.load_()获取小规模数据集，数据包含在datasets里，datasets.load_()获取小规模数据集，数据包含在datasets里。
load*和fetch*返回的数据类型datasets.base.Bunch(字典格式)
data：特征数据数组，是 [n_samples * n_features] 的二维 numpy.ndarray 数组
target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
DESCR：数据描述
feature_names：特征名,新闻数据，手写数字、回归数据集没有
target_names：标签名,回归数据集没有
sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)：data_home为数据存储的位置，subset: ‘train’或者’test’,‘all’，可选，选择要加载的数据集.
训练集的“训练”，测试集的“测试”，两者的“全部”

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris, fetch_20newsgroups
li = load_iris()
print('特征')
print(li.data)
print('目标值')
print(li.target)
print('数据描述')
print(li.DESCR)
print('特征名称')
print(li.feature_names)
print('目标值名称')
print(li.target_names)
###获取全部数据
news = fetch_20newsgroups(subset='all')
###划分训练集测试集，输入特征值、目标值、测试集大小
x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)

二、数据转换
1、特征工程中的数据转换：fit_transform()输入数据并转换，fit()输入数据，不进行转换，会计算平均值、方差等，transform()进行转换
2、估计器estimator：分类器和回归器都属于estimator，是一类实现了算法的API，注意传入的参数。
a.基于训练集调用fit(x_train,y_train)
b.输入测试集数据预测值predict(x_test)、预测准确率score(x_test,y_test)

用于分类的估计器：
sklearn.neighbors k-近邻算法
sklearn.naive_bayes 贝叶斯
sklearn.linear_model.LogisticRegression 逻辑回归

用于回归的估计器：
sklearn.linear_model.LinearRegression 线性回归
sklearn.linear_model.Ridge 岭回归