机器学习一般的开发流程

一，获取数据

当你拿到数据之后，自然而然的你要把数据集进行处理，如果一开始数据就相对于比较嘈杂，如缺失值，或者一些数据不符合我们需要的要求时，就要进行数据处理

二，数据处理

查看是否有明显的异常值，如某些数据点和数据集中的其他值存在明显的差异。通过一维，二维或者三维图形化展示数据是个不错的方法，但是我们得到的数据的特征值都不会低于三个，无法一次图形化展示所有特征。我们可以通过数据的提炼，压缩多维特征到二维或者一维

三，特征工程

其实特征工程也是对数据处理的一种方式，只不过我们会把这些数据处理成更为能被算法进行处理，机器学习的数据集分为 特征值 和 目标值

特征工程包括从原始数据中特征构建、特征提取、特征选择。特征工程做的好能发挥原始数据的最大效力，往往能够使得算法的效果和性能得到显著的提升，有时能使简单的模型的效果比复杂的模型效果好。数据挖掘的大部分时间就花在特征工程上面，是机器学习非常基础而又必备的步骤。数据预处理、数据清洗、筛选显著特征、摒弃非显著特征等等都非常重要。

四，机器学习算法训练

 考虑算法是属于监督学习算法还是无监督学习算法。如果使用无监督学习算法，由于不存在目标变量值，故而也不需要训练算法。进而得到模型。

五，模型评估

模型诊断中至关重要的是判断过拟合、欠拟合，常见的方法是绘制学习曲线，交叉验证。通过增加训练的数据量、降低模型复杂度来降低过拟合的风险，提高特征的数量和质量、增加模型复杂来防止欠拟合。诊断后的模型需要进行进一步调优，调优后的新模型需要重新诊断，这是一个反复迭代不断逼近的过程，需要不断的尝试，进而达到最优的状态。通过测试数据，验证模型的有效性，观察误差样本，分析误差产生的原因，往往能使得我们找到提升算法性能的突破点。误差分析主要是分析出误差来源与数据、特征、算法。