【机器学习】数据集认识，数据集划分

机器学习

机器学习，按照学习模式的不同，可以分为监督学习，无监督学习，半监督学习，强化学习

监督学习（Supervised Learning） 从有标签的训练数据中学习模型，使用模型预测标签

如 线性回归，神经网络

半监督学习（Semi-Supervised Learning），利用少量的标注数据进行学习模型

无监督学习（Unsupervised Learning），从没有标注的数据中寻找隐含结构的过程

如主成分分析，K均值算法

强化学习（Reinforcement Learning），类似监督学习，但是未使用样本数据进行训练，通过不断试错进行学习

scikit-learn

scikit-learn是python中的机器学习第三方库

入门-scikit-learn中文社区

• 安装
  • pip install scikit-learn
• 导入
  • import sklearn

玩具数据集

数据量小，在sklearn本地的数据，可以直接使用

API 参考-scikit-learn中文社区

api接口中一般是load开头，加载数据集的api用法类似，个别有所差异，具体可以查看官网

sklearn.datasets.load_wine(*, return_X_y=False, as_frame=False) 加载葡萄酒数据集

return_X_y=False 是否返回（data,target）,如果是False，则返回Bunch对象

as_frame=False是否返回pandas DataFrame

返回值Bunch对象 类字典对象

• data 数据集中的数据，样本的特征
• target 分类的目标，标签
• feature_names列表，数据集列的名称，样本特征名
• target_names列表，分类标签的名称
• DESCR字符串，对数据集的描述

from sklearn.datasets import load_wine

wine = load_wine()
feature = wine.data
target = wine.target
feature_names = wine.feature_names
target_names = wine.target_names
print(feature)
print(target)
print(feature_names)
print(target_names)
print(wine.DESCR)

现实数据集

数据量较大，需要网络下载，api一般是fetch开头的数据集

不同的数据集参数会有不同

sklearn.datasets.fetch_20newsgroups(*, data_home=None, subset='train', categories=None, shuffle=True, random_state=42, remove=(), download_if_missing=True, return_X_y=False)

获取20分类新闻数据集

data_home 下载的数据集的文件夹，没有指定则是在家目录，系统目录中C:\Users\31029\scikit_learn_data

subset选择要加载的数据集 训练集 测试集 所有

shuffle 是否打乱

random_state 随机种子

download_if_missing 如果本地存在就在本地加载，不存在就下载

return_X_y 是否返回(data.data,data.target)

from sklearn.datasets import fetch_20newsgroups
news = fetch_20newsgroups()
print(len(news.data))
print(len(news.target))
print(news.target_names)

数据集划分

机器学习中，一些监督学习通过把数据集划分为测试集和训练集，测试集训练模型，测试集测试模型的性能。

sklearn.model_selection.train_test_split(*arrays，**options)

*arrays 接受多个变量作为元组接收

**options 接收多个关键字参数作为键值对的字典接收

train_test_split可以实现对多个数组同步划分

test_size 测试集比率

train_size 训练集比率

random_state 随机种子 保证随机结果的唯一

shuffle 是否打乱

from sklearn.model_selection import train_test_split
a = [1,2,3,4]
b = ['1a','2a','3a','4a']
a_train,a_test,b_train,b_test = train_test_split(a,b,test_size=0.25,random_state=1)
# a b 划分为训练集和测试集之后 类型不变 大小相同  a b 的形状需要一致
print(a_train)
print(a_test)
print(b_train)
print(b_test)
'''
[3, 1, 2]
[4]
['3a', '1a', '2a']
['4a']
'''

字典数据集划分

字典列表的数据集，需要对其进行特征提取。

把字典中的值作为样本的一个特征，如果值相等，对应该特征就是1，否则就是0，类似文本处理中的one—hot编码。

省去矩阵中0的值，保留有值的坐标，就是稀疏矩阵

from sklearn.feature_extraction import DictVectorizer
dic_list = [
    {'name':'a','age':10,'weigh':'A'},
    {'name':'b','age':11,'weigh':'A'},
    {'name':'c','age':23,'weigh':'B'},
    {'name':'d','age':9,'weigh':'B'},
]
transform = DictVectorizer(sparse=True)
data = transform.fit_transform(dic_list)
print(data) #  稀疏矩阵
print(data.toarray())  # 非 稀疏矩阵

train,test = train_test_split(data,test_size=0.25)
print(train)
print('___________')
print(test)

'''
(0, 0)	10.0
  (0, 1)	1.0
  (0, 5)	1.0
  (1, 0)	11.0
  (1, 2)	1.0
  (1, 5)	1.0
  (2, 0)	23.0
  (2, 3)	1.0
  (2, 6)	1.0
  (3, 0)	9.0
  (3, 4)	1.0
  (3, 6)	1.0
[[10.  1.  0.  0.  0.  1.  0.]
 [11.  0.  1.  0.  0.  1.  0.]
 [23.  0.  0.  1.  0.  0.  1.]
 [ 9.  0.  0.  0.  1.  0.  1.]]
 
 
 
   (0, 0)	23.0
  (0, 3)	1.0
  (0, 6)	1.0
  (1, 0)	9.0
  (1, 4)	1.0
  (1, 6)	1.0
  (2, 0)	11.0
  (2, 2)	1.0
  (2, 5)	1.0
___________
  (0, 0)	10.0
  (0, 1)	1.0
  (0, 5)	1.0


'''