- 什么是机器学习
机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测
- 机器学习工作流程:
获取数据
数据基本处理
特征工程
机器学习(模型训练)
模型评估
- 获取到的数据集介绍
数据简介
- 在数据集中一般:
一行数据我们称为一个样本
一列数据我们成为一个特征
有些数据有目标值(标签值),有些数据没有目标值
- 数据类型构成:
数据类型一: 特征值 + 目标值(目标值是连续的和离散的)
数据类型二: 只有特征值,没有目标值
- 数据分割:
机器学习一般的数据集会划分为两个部分:
训练数据: 用于训练,构建模型
测试数据: 在模型检验时使用,用于评估模型是否有效
- 划分比例:
训练集: 70% 80% 75%
测试集: 30% 20% 25%
- 数据基本处理
即对数进行缺失值、去除异常值等处理
- 特征工程
特征工程:
把数据转换成机器更容易识别的数据
(特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。)
为什么需要特征工程:
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
特征工程包含内