【spark系列4】分类之SVMWithSGD

最新推荐文章于 2021-05-12 17:14:36 发布

sina微博_SNS程飞

最新推荐文章于 2021-05-12 17:14:36 发布

阅读量7.6k

点赞数

分类专栏：机器学习 spark 文章标签： spark svm

本文链接：https://blog.csdn.net/ksearch/article/details/24186795

版权

机器学习同时被 2 个专栏收录

33 篇文章 1 订阅

订阅专栏

spark

10 篇文章 0 订阅

订阅专栏

关于SVM和SGD的知识请参考其他资料，这里只介绍如何在spark-shell下跑分类模型。

分类数据集

这里面使用的是spark样例数据，文件地址为spark-0.9.1/mllib/data/sample_svm_data.txt。

启动spark

编译好spark后，在spark目录的bin目录下，运行

spark-shell

启动完后会出现

scala>

编写调用mllib的scala程序

import org.apache.spark.SparkContext
import org.apache.spark.mllib.classification.SVMWithSGD
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.optimization.L1Updater

object ObSVMWithSGD{
    def run() {
        // Load and parse the data file
        val data = sc.textFile("D:/schoolar_tool/spark-0.9.1/mllib/data/sample_svm_data.txt")
        val parsedData = data.map{line => 
            val parts = line.split(' ')
            LabeledPoint(parts(0).toDouble, parts.tail.map(x => x.toDouble).toArray)
        }

        // Run training algorithm to build the model
        val svmAlg = new SVMWithSGD()
        svmAlg.optimizer.setNumIterations(200)
                        .setRegParam(0.1)
                        .setUpdater(new L1Updater)
        val model = svmAlg.run(parsedData)

        // Evaluate model on training examples and compute training error
        val labelAndPreds2 = parsedData.map{ point =>
            val prediction = model.predict(point.features)
            (point.label, prediction)
        }
        val trainErr = labelAndPreds2.filter(r => r._1 != r._2).count.toDouble / parsedData.count
        println("Training Error = " + trainErr)
    }
}