机器学习(1)特征工程
1.1数据集
- 构成:特征值+目标值
- 参考书籍:
机器学习 -”西瓜书”- 周志华
统计学习方法 - 李航
深度学习 - “花书
1.2 sklearn数据集API介绍
-
sklearn.datasets
load_* 获取小规模数据集: sklearn.datasets.load_iris()
fetch_* 获取大规模数据集: sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’) -
数据集的返回值: datasets.base.Bunch(继承自字典)
dict[“key”] = values
bunch.key = values
1.3数据集的划分
- sklearn.model_selection.train_test_split(arrays, *options)
训练集特征值,测试集特征值,训练集目标值,测试集目标值
x_train, x_test, y_train, y_test
默认为测试集为25%
1.4特征工程
- 特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。
- pandas:一个数据读取非常方便以及基本的处理格式的工具
sklearn:对于特征的处理提供了强大的接口 - 包含内容:特征抽取,特征预处理,特征降维