数据的划分和介绍:
- 数据:
- 训练集(占大多数,常用75%):用来建立模型
- 测试集(占小部分,常用25%):用来评估模型
用来划分数据集的API:
sklearn.model_selection.train_test_split
sklearn.database
- 加载获取流行数据集
- datasets.load_*()
- 获取小规模数据集,数据包含在datasets里
- datasets.fetch_*(data_home=None)
- 获取大规模数据集,需要从网络上下载,函数的第一个参数是data_home,表示数据集下载的目录,默认是~/scikit_learn_data/
数据集分割:
- sklearn.model_selection.train_test_split(*arrays,**options)
- x,数据集的特征值
- y,数据集的标签值
- test_size,测试集的大小,一般为float
- random_state,随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同
- return,训练集特征值,测试集特征值,训练标签,测试标签(默认随机取)。返回顺序固定不变
转换器和估计器:
数据集 --> fit_transform(X) --> 转换后的数据集
fit_transform(X) = fit() + transform()
fit()求平均值标准差
transform()求值
估计器(estimator),是一类实现了算法的API:
第一步:调用fit,fit(x_train, y_train),建立模型
第二步:输入测试集数据,评估模型,y_predict = predict(x_test)或者score(x_test, y_test)
socre()为预测的准确率