机器学习—数据集（二）

1可用数据集

公司内部 eg:百度
数据接口 花钱
数据集
学习阶段可用的数据集：

1. sklearn:数据量小，方便学习
2. kaggle：80万科学数据，真实数据，数据量大
3. UCI：收录了360个数据集，覆盖科学、生活、经济等领域，数据量几十万

Kaggle网址：http://www.kaggle.com/datasets
UCI网址：http://archive.ics.uci.edu/ml/
scikit-learn网址：http://scikit-learn.org/stable/datasets/index.html

2scikit-learn工具介绍

• Python语言的机器学习工具
• Scikit-learn包括许多知名的机器学习算法的实现
• Scikit-learn文档完善，容易上手，丰富的API
• 目前稳定版本0.19.1

2.1安装

pip3 install Scikit-learn==0.19.1

安装好之后可以通过以下命令查看是否安装成功

import sklearn

注：安装scikit-learn需要Numpy，Scipy等库

2.2sklearn数据集

scikit-learn数据集API介绍：

• sklearn.datasets
  • 加载获取流行数据集
  • datasets.load_*()
    - 获取小规模数据集，数据包含在datasets里
  • datasets.fetch_*(data_home=None)
    - 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是~/scikit_learn_data/

sklearn小数据集：

• sklearn.datasets.load_iris()
  -加载并返回鸢尾花数据集

名称	数量
类别	3
特征	4
样本数量	150
每个类别数量	50

• sklearn.datasets.load_boston()
  -加载并返回波士顿房价数据集

名称	数量
目标类别	5-50
特征	13
样本数量	506

sklearn大数据集：

• sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
  • subset: "train’或者’test’，"all’，可选，选择要加载的数据集。
  • 训练集的“训练”，测试集的“测试”，两者的“全部”

sklearn数据集的使用：

• 以鸢尾花数据集为例：
  
  sklearn数据集返回值介绍：
• load和fetch返回的数据类型datasets.base.Bunch(字典格式)
  • data:特征数据数组，是[n_samples * n_features]的二维numpy.ndarray数组
  • target:标签数组，是n_samples的一维numpy.ndarray数组
  • DESCR:数据描述
  • feature_names:特征名,新闻数据，手写数字、回归数据集没有
  • otarget_names:标签名

from sklearn.datasets import load_iris
#获取鸢尾花数据集
iris = load_iris()
print("鸢尾花数据集的返回值:\n", iris)
#返回值是一个继承自字典的Bench
print("鸢尾花的特征值:\n", iris ["data""])
print("鸢尾花的目标值:\n",iris.target)
print("鸢尾花特征的名字:\n", iris.feature_names)
print("鸢尾花目标值的名字: \n"，iris.target_names)
print("鸢尾花的描述:\in", iris.DESCR)

2.3数据集的划分

机器学习一般的数据集会划分为两个部分：

• 训练数据:用于训练，构建模型
• 测试数据:在模型检验时使用，用于评估模型是否有效

划分比例：
训练集:70% 80% 75%
测试集:30% 20% 30%

数据集划分api：

• sklearn.model_selection.train_test_split(arrays, "options)
  • ×数据集的特征值
  • y数据集的标签值
  • test_size测试集的大小，一般为float
    • random_state 随机数种子，不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
    • return 训练集特征值，测试集特征值，训练集目标值，测试集目标值
      x_train,x_test, y_train,y_test

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

#数据集划分
x_train，x_test，y_train，y_test = train_test_split(iris.data，iris.target，test_size=0.2，random_state=22)
print("训练集的特征值:\n", x_train,x_train.shape)