1.数据来源
企业日益积累的大量数据(互联网公司更为显著)
政府掌握的各种数据
科研机构的实验数据
… …
2.数据类型
离散型数据:由记录不同类别个体的数目所得到的数据,又称计数数据,所有这些数据全部都是整数,而且不能再细分,也不能进一步提高他们的精确度。如:班级人数、进球个数、是否是某个类别等等
连续型数据:变量可以在某个范围内取任一数,即变量的取值可以是连续的,如:长度、时间、质量值、票房等,这类整数通常是非整数,含有小数部分。
注:离散型是区间内不可分,连续型是区间内可分
3.数据集的结构
3.1可用的数据集
Kaggle—特点:
1)大数据竞赛平台 2)真实数据 3)数据量巨大
UCI—特点:
1)覆盖科学、生活、经济等专业领域 2)数据量几十万
scikit-learn—特点:
1)数据量较小 2)方便学习
3.2数据集结构
数据集结构 = 特征值 + 目标值
特征值:相当于二维表中列索引的值
目标值:根据一系列特征要做的事情。如要根据一系列特征来判断目标是男还是女,则男/女为目标值。
4.数据中对于特征的处理
pandas:一个数据读取非常方便以及基本的处理格式的工具
sklearn:对于特征的处理提供了强大的接口