使用Fregata实现spark的逻辑回归算法

最新推荐文章于 2024-05-18 09:46:23 发布

疯狂的程序猿88888

最新推荐文章于 2024-05-18 09:46:23 发布

阅读量1.3k

点赞数

分类专栏： spark 机器学习文章标签： spark 机器学习

本文链接：https://blog.csdn.net/u012940753/article/details/53517117

版权

本文展示了如何利用Fregata库在Spark上实现逻辑回归算法。通过Fregata提供的LibSvmReader读取数据，用训练数据构建模型，并使用AUC和Accuracy评估模型性能。

摘要由CSDN通过智能技术生成

import fregata.spark.data.LibSvmReader
import fregata.spark.metrics.classification.{AreaUnderRoc, Accuracy}
import fregata.spark.model.classification.LogisticRegression
import org.apache.spark.{SparkConf, SparkContext}
/**
  * Created by ALL on 2016/12/8.
  */
object FregataFirstTest {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf().setAppName("test").setMaster("local")
    val sc=new SparkContext(conf)
    //通过Fregata的API读取数据
    val (_,trainData)=LibSvmReader.read(sc,"/fregataData/a9a",123)
    val (_,testData)=LibSvmReader.read(sc,"/fregataData/a9a.t",123)
    //使用训练数据构建逻辑回归模型
    val model=LogisticRegression.run(trainData)
    //使用测试数据预测类别
    val pd=model.classPredict(testData)
    //通过AUC或者其他指标来评估模型
    val acc=Accuracy.of( pd.map{
      case ((x,l),(p,c))=>
        c -> l