机器学习的流程共分6个步骤,分别为业务理解、数据理解、数据准备、算法建模、模型评估及平台部署。根据不同需要和场景,某些步骤可省略。下面我们分别讲解各个步骤需要进行的工作。
1、业务理解
第一步需要对所在的业务进行理解,理解的内容包含业务逻辑、业务指标等,要思考最终想要生成什么样的应用,该应用和哪些数据相关,数据间的逻辑是怎样等问题。
落实到市场上,做到精准营销;
落实到网络上,做到智能运维。
2、数据理解
数据理解与业务理解息息相关,需要将业务逻辑转化成数据,选择什么数据,每个数据的权重,这些都需要在准备数据前考虑。
3、数据准备
在整个机器学习步骤中,基本上数据准备环节会花费70%左右的时间精力。需要不断尝试实验,进而建立最优的特征工程。
第一步:数据采集
可通过相关数据库平台或使用爬虫进行采集
第二步:数据探索
通过数据探索,选取符合条件的特征(列),可使用SPSS,EXCEL等简易工具进行数据可视化,观察不同特征的选取对结果的影响。
此部分需要花费很大的精力,反复推敲实验。
第三步:数据预处理
提取的数据中会存在缺失值、异常值的情况
数据预处理主要目标就是对提取数据的缺失值、异常值进行处理
处理的方法有很多,后续我们一一介绍。
第四步:特征工程
特征工程主要是