机器学习算法基础-sklearn数据集与机器学习组成

开发机器学习应用程序的步骤

（1）收集数据
我们可以使用很多方法收集样本护具，如：制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得>到信息、设备发送过来的实测数据。
（2）准备输入数据
得到数据之后，还必须确保数据格式符合要求。
（3）分析输入数据
这一步的主要作用是确保数据集中没有垃圾数据。如果是使用信任的数据来源，那么可以直接跳过这个步骤
（4）训练算法
机器学习算法从这一步才真正开始学习。如果使用无监督学习算法，由于不存在目标变量值，故而也不>需要训练算法，所有与算法相关的内容在第（5）步
（5）测试算法
这一步将实际使用第（4）步机器学习得到的知识信息。当然在这也需要评估结果的准确率，然后根据>需要重新训练你的算法
（6）使用算法
转化为应用程序，执行实际任务。以检验上述步骤是否可以在实际环境中正常工作。如果碰到新的数据>问题，同样需要重复执行上述的步骤

scikit-learn数据集

sklearn.datasets

datasets.load_*()

获取小规模数据集，数据包含在datasets里

from sklearn.datasets import load_iris,load_boston
from sklearn.model_selection import train_test_split
###鸢尾花数据集
li = load_iris()
print('获得特征值')
print(li.data)
print("目标值")
print(li.target)
print(li.DESCR)
###波士顿房产交易数据集
lb = load_boston()
print(lb.data)
print(lb.target)
print(lb.DESCR)

datasets.fetch_*()

获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录，默认是 ~/scikit_learn_data/，要修改默认目录，可以修改环境变量SCIKIT_LEARN_DATA

sklearn.datasets.fetch_20newsgroups

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
news = fetch_20newsgroups(subset='all')
print(news.data)
print(news.target)

datasets.make_*()

本地生成数据集

load和 fetch 函数返回的数据类型是 datasets.base.Bunch，本质上是一个 dict，它的键值对可用通过对象的属性方式访问。主要包含以下属性：

data：特征数据数组，是 n_samples * n_features 的二维 numpy.ndarray 数组

target：标签数组，是 n_samples 的一维 numpy.ndarray 数组

DESCR：数据描述

feature_names：特征名

target_names：标签名

数据集目录可以通过datasets.get_data_home()获取，clear_data_home(data_home=None)删除所有下载数据

datasets.get_data_home(data_home=None)

返回scikit学习数据目录的路径。这个文件夹被一些大的数据集装载器使用，以避免下载数据。默认情况下，数据目录设置为用户主文件夹中名为“scikit_learn_data”的文件夹。或者，可以通过“SCIKIT_LEARN_DATA”环境变量或通过给出显式的文件夹路径以编程方式设置它。’〜'符号扩展到用户主文件夹。如果文件夹不存在，则会自动创建。

sklearn.datasets.clear_data_home(data_home=None)

删除存储目录中的数据