探索数据

一、探索数据

 1.1、数据质量分析

 1.2、数据特征分析

   1.2.1、特征提取、转换和选择

 1.3、数据可视化

 1.4、数据预处理

 1.5、组装

  前面几节我们对数据集进行了探索，之后进行大量的数据清理、转换等数据预处理工作，接着进行构建模型、评估模型。评估模型前我们需要将数据集随机划分为训练集和测试集。假如数据有变化，如新增数据，如何保证训练集和测试集上的操作保持一致?如果数据清理、数据转换等有很多步骤，如何保证这些步骤依次执行?
  采用Spark Pipeline能很好解决这些问题。也就是说，我们只要把这些任务作为Pipeline的Stage,按照其本身的执行次序把这些stage组装到一个Pipeline上即可。当然，如果任务比较复杂，我们也可以采用多个Pipeline，然后把这些Pipeline 组装到一个新的

 1.6、模型选择或调优

  1.6.1、模型评估

 1.7、保存模型

   训练、优化模型后，我们需要保存模型，然后把模型移植或部署到其他环境中。
  本节主要介绍如何保存模型、如何部署模型等内容，以下是具体示例代码。
1)保存拟合后的流水线到磁盘:

	model.write.overwrite( ).save ("/ tmp/spark-logistic-regress ion-model")

2)保存未拟合的流水线到磁盘:

	 pipeline.write.overwrite().save("/tmp/ spark-logistic-regression-model")

3)把拟合后的流水线部署到其他环境中:

	  val sameModel = pipelineModel.load("/tmp/spark-logistic-regression-mode1")