机器学习工作流程

一、什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

二、机器学习工作流程

机器学习工作流程总结

1. 获取数据
2. 数据基本处理
3. 特征工程
4. 机器学习(模型训练)
5. 模型评估
   结果达到要求，上线服务
   没有达到要求，重新上面步骤

1. 获取数据

• 数据简介
  在数据集中一般：

  • 一行数据我们称为一个样本
  • 一列数据我们成为一个特征
  • 有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）

• 数据类型构成：

  • 数据类型一：特征值+目标值（目标值是连续的和离散的）
  • 数据类型二：只有特征值，没有目标值

• 数据分割：

  • 机器学习一般的数据集会划分为两个部分：
    • 训练数据：用于训练，构建模型
    • 测试数据：在模型检验时使用，用于评估模型是否有效
  • 划分比例：
    • 训练集：70% 80% 75%
    • 测试集：30% 20% 25%

2. 数据基本处理

即对数据进行缺失值、去除异常值等处理

3. 特征工程

3.1什么是特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

• 意义：会直接影响机器学习的效果

3.2 为什么需要特征工程(Feature Engineering)

机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”
注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

3.3 特征工程包含内容

• 特征提取
• 特征预处理
• 特征降维

3.4 各概念具体解释

• 特征提取
  • 将任意数据（如文本或图像）转换为可用于机器学习的数字特征
    
• 特征预处理
  • 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
    
• 特征降维
  • 指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程
    

4. 机器学习(模型训练)

选择合适的算法对模型进行训练

5. 模型评估

对训练好的模型进行评估