pyspark mllib中提供的Logisticregression做分类,即逻辑回归模型,原理不多讲,代码也懒的上,有问题欢迎探讨
官网例子很清楚了http://spark.apache.org/docs/latest/mllib-linear-methods.html#classification 看python的选项就好
再详细的可以参考API,或者直接看scala源码:
http://spark.apache.org/docs/latest/api/python/pyspark.mllib.html#pyspark.mllib.classification.LogisticRegressionWithLBFGS
需要注意的是,如果要对类别概率进行计算,通俗说,就是我想得到预测是这个类别的概率是多少,比如对输入X进行预测得到类别为y=1,但是我想知道我预测该输入所属类别为1的概率是多少,一句话:
lr_model.clearThreshold()
lr_model.predict(rdd) #此时的预测结果即为概率值