pyspark-ml学习笔记：模型评估

问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，那么肯定需要对模型进行评估，而pyspark本身自带模型评估的api很少，想进行扩展的话有几种方案：

（1）使用udf自行编写代码进行扩展。

（2）使用现有的，像sklearn中的api。（不同框架的之间的切换往往需要转换数据结构）

例子如下所示：

'''
模型评估模块：
· pyspark api
· sklearn api
'''

import numpy as np
from pyspark.ml.linalg import Vectors
from start_pyspark import spark, sc, sqlContext 
from pyspark.ml.evaluation import BinaryClassificationEvaluator

scoreAndLabels = map(lambda x: (Vectors.dense([1.0 - x[0], x[0]]), x[1]), [(0.1, 0.0), (0.1, 1.0), (0.4, 0.0), (0.6, 0.0), (0.6, 1.0), (0.6, 1.0), (0.8, 1.0)])
dataset = spark.createDataFrame(scoreAndLabels, ["prediction", "label"])
evaluator = BinaryClassificationEvaluator(rawPredictionCol="prediction")
res = evaluator.evaluate(dataset)
print ( 'res>>>>>>