使用scala做机器学习模型主要步骤示例

最新推荐文章于 2024-08-26 09:51:05 发布
最新推荐文章于 2024-08-26 09:51:05 发布
阅读量1.9k 收藏 7
点赞数 4
分类专栏： Spark权威指南 机器学习 spark 文章标签： scala机器学习 机器学习 scala spark ml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eylier/article/details/119394541
版权

本文介绍使用scala做机器学习模型的一个主要步骤示例。这里主要列了些基本环节，可以在此基础上进行扩充。

object mlExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("TobyGao")
      .enableHiveSupport()
      .getOrCreate()
    val modelPath = "/user/Tobygao/model_saved"
    val dataPath = "/user/Tobygao/ml_data"

    //1- load data
    var df = spark.read.json(dataPath+"/data/simple-ml")

    //2- train/test Split 
    val Array(train, test) = df.randomSplit(Array(0.7, 0.3))
   
   
    //3 featureVector -- VectorAssember or RFormula
    val rForm = new RFormula()
   
     //4 define model
    import org.apache.spark.ml.classification.LogisticRegression
    val lr = new LogisticRegression()
            .setLabelCol("label")
            .setFeaturesCol("features")
    println(lr.explainParams())

    //5- pipeline
    import org.apache.spark.ml.Pipeline
    val stages = Array(rForm, lr)
    val pipeline = new Pipeline().setStages(stages)

    //6 - ParamGridBuilder 参数构造器
    import org.apache.spark.ml.tuning.ParamGridBuilder
    val params = new ParamGridBuilder()
      .addGrid(rForm.formula, Array(
        "lab ~ . + color:value1",
        "lab ~ . + color:value1 + color:value2"))
      .addGrid(lr.elasticNetParam, Array(0.0, 0.5, 1.0))
      .addGrid(lr.regParam, Array(0.1, 2.0))
      .build()

    //7 - Evaluator
    import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator
    val evaluator = new BinaryClassificationEvaluator()
      .setMetricName("areaUnderROC") //AUC
      .setRawPredictionCol("prediction")
      .setLabelCol("label")

    //8 - TrainValidationSplit
    import org.apache.spark.ml.tuning.TrainValidationSplit
    val tvs = new TrainValidationSplit()
      .setTrainRatio(0.75) // 训练集、验证集拆分比例
      .setEstimatorParamMaps(params) //参数网格构造器
      .setEstimator(pipeline) //估计器
      .setEvaluator(evaluator)  //评价器

    //9 - model fit
    val tvsFitted = tvs.fit(train)

    //10 - model predict
    val tvsPredict = tvsFitted.transform(test)
    tvsPredict.show()

    //11- show evaluate
    tvsPredict.show()
    println(evaluator.evaluate(tvsPredict)) // AUC

    //12- best model
    import org.apache.spark.ml.PipelineModel
    import org.apache.spark.ml.classification.LogisticRegressionModel
    val trainedPipeline = tvsFitted.bestModel.asInstanceOf[PipelineModel]
    val TrainedLR = trainedPipeline.stages(1).asInstanceOf[LogisticRegressionModel]
    val summaryLR = TrainedLR.summary
    println(summaryLR.objectiveHistory.mkString(",")) // 查看模型收敛速度，这是个Array，存放了每次迭代训练后的目标函数objective的值。可以通过查看这个数据来判断是否应该增大训练的迭代次数、早停或者调参优化模型

    //13 - model save
    tvsFitted.write.overwrite().save(modelPath+"/tmp/modelLocation")

    //14 - model load
    import org.apache.spark.ml.tuning.TrainValidationSplitModel
    val model = TrainValidationSplitModel.load(modelPath+"/tmp/modelLocation")
    model.transform(test)

  }
}

结果：

1-load data
+-----+----+------+------------------+
|color| lab|value1|            value2|
+-----+----+------+------------------+
|green|good|     1|14.386294994851129|
|green| bad|    16|14.386294994851129|
| blue| bad|     8|14.386294994851129|
| blue| bad|     8|14.386294994851129|
| blue| bad|    12|14.386294994851129|
|green| bad|    16|14.386294994851129|
|green|good|    12|14.386294994851129|
|  red|good|    35|14.386294994851129|
|  red|good|    35|14.386294994851129|
|  red| bad|     2|14.386294994851129|
|  red| bad|    16|14.386294994851129|
|  red| bad|    16|14.386294994851129|
| blue| bad|     8|14.386294994851129|
|green|good|     1|14.386294994851129|
|green|good|    12|14.386294994851129|
| blue| bad|     8|14.386294994851129|
|  red|good|    35|14.386294994851129|
| blue| bad|    12|14.386294994851129|
|  red| bad|    16|14.386294994851129|
|green|good|    12|14.386294994851129|
+-----+----+------+------------------+ 

3-RFormula
+-----+----+------+------------------+--------------------+-----+
|color| lab|value1|            value2|            features|label|
+-----+----+------+------------------+--------------------+-----+
|green|good|     1|14.386294994851129|(10,[1,2,3,5,8],[...|  1.0|
| blue| bad|     8|14.386294994851129|(10,[2,3,6,9],[8....|  0.0|
| blue| bad|    12|14.386294994851129|(10,[2,3,6,9],[12...|  0.0|
|green|good|    15| 38.97187133755819|(10,[1,2,3,5,8],[...|  1.0|
|green|good|    12|14.386294994851129|(10,[1,2,3,5,8],[...|  1.0|
|green| bad|    16|14.386294994851129|(10,[1,2,3,5,8],[...|  0.0|
|  red|good|    35|14.386294994851129|(10,[0,2,3,4,7],[...|  1.0|
|  red| bad|     1| 38.97187133755819|(10,[0,2,3,4,7],[...|  0.0|
|  red| bad|     2|14.386294994851129|(10,[0,2,3,4,7],[...|  0.0|
|  red| bad|    16|14.386294994851129|(10,[0,2,3,4,7],[...|  0.0|
|  red|good|    45| 38.97187133755819|(10,[0,2,3,4,7],[...|  1.0|
|green|good|     1|14.386294994851129|(10,[1,2,3,5,8],[...|  1.0|
| blue| bad|     8|14.386294994851129|(10,[2,3,6,9],[8....|  0.0|
| blue| bad|    12|14.386294994851129|(10,[2,3,6,9],[12...|  0.0|
|green|good|    15| 38.97187133755819|(10,[1,2,3,5,8],[...|  1.0|
|green|good|    12|14.386294994851129|(10,[1,2,3,5,8],[...|  1.0|
|green| bad|    16|14.386294994851129|(10,[1,2,3,5,8],[...|  0.0|
|  red|good|    35|14.386294994851129|(10,[0,2,3,4,7],[...|  1.0|
|  red| bad|     1| 38.97187133755819|(10,[0,2,3,4,7],[...|  0.0|
|  red| bad|     2|14.386294994851129|(10,[0,2,3,4,7],[...|  0.0|
+-----+----+------+------------------+--------------------+-----+ 

10- model prediction
+-----+----+------+------------------+--------------------+-----+--------------------+--------------------+----------+
|color| lab|value1|            value2|            features|label|       rawPrediction|         probability|prediction|
+-----+----+------+------------------+--------------------+-----+--------------------+--------------------+----------+
| blue| bad|     8|14.386294994851129|(7,[2,3,6],[8.0,1...|  0.0|[1.81841935188104...|[0.86037635368405...|       0.0|
| blue| bad|     8|14.386294994851129|(7,[2,3,6],[8.0,1...|  0.0|[1.81841935188104...|[0.86037635368405...|       0.0|
| blue| bad|     8|14.386294994851129|(7,[2,3,6],[8.0,1...|  0.0|[1.81841935188104...|[0.86037635368405...|       0.0|
| blue| bad|     8|14.386294994851129|(7,[2,3,6],[8.0,1...|  0.0|[1.81841935188104...|[0.86037635368405...|       0.0|
| blue| bad|     8|14.386294994851129|(7,[2,3,6],[8.0,1...|  0.0|[1.81841935188104...|[0.86037635368405...|       0.0|
| blue| bad|    12|14.386294994851129|(7,[2,3,6],[12.0,...|  0.0|[2.15923553226233...|[0.89652865416576...|       0.0|
| blue| bad|    12|14.386294994851129|(7,[2,3,6],[12.0,...|  0.0|[2.15923553226233...|[0.89652865416576...|       0.0|
| blue| bad|    12|14.386294994851129|(7,[2,3,6],[12.0,...|  0.0|[2.15923553226233...|[0.89652865416576...|       0.0|
|green| bad|    16|14.386294994851129|[0.0,1.0,16.0,14....|  0.0|[-0.6607070390540...|[0.34058080292169...|       1.0|
|green| bad|    16|14.386294994851129|[0.0,1.0,16.0,14....|  0.0|[-0.6607070390540...|[0.34058080292169...|       1.0|
|green| bad|    16|14.386294994851129|[0.0,1.0,16.0,14....|  0.0|[-0.6607070390540...|[0.34058080292169...|       1.0|
|green|good|     1|14.386294994851129|[0.0,1.0,1.0,14.3...|  1.0|[-0.4860199728364...|[0.38083160751668...|       1.0|
|green|good|     1|14.386294994851129|[0.0,1.0,1.0,14.3...|  1.0|[-0.4860199728364...|[0.38083160751668...|       1.0|
|green|good|    12|14.386294994851129|[0.0,1.0,12.0,14....|  1.0|[-0.6141238213959...|[0.35111907339348...|       1.0|
|green|good|    12|14.386294994851129|[0.0,1.0,12.0,14....|  1.0|[-0.6141238213959...|[0.35111907339348...|       1.0|
|green|good|    15| 38.97187133755819|[0.0,1.0,15.0,38....|  1.0|[-1.1954765118448...|[0.23228089715736...|       1.0|
|green|good|    15| 38.97187133755819|[0.0,1.0,15.0,38....|  1.0|[-1.1954765118448...|[0.23228089715736...|       1.0|
|  red| bad|     1| 38.97187133755819|[1.0,0.0,1.0,38.9...|  0.0|[1.34210087888720...|[0.79283521791024...|       0.0|
|  red| bad|     1| 38.97187133755819|[1.0,0.0,1.0,38.9...|  0.0|[1.34210087888720...|[0.79283521791024...|       0.0|
|  red| bad|     2|14.386294994851129|[1.0,0.0,2.0,14.3...|  0.0|[1.80828707711963...|[0.85915472458301...|       0.0|
+-----+----+------+------------------+--------------------+-----+--------------------+--------------------+----------+ 

11 - evaluator
AUC 0.9210526315789473 

12 - objectiveHistory
0.6930670630541909,0.5961979573995868,0.5268590504745408,0.47249879942722717,0.4635853436671372,0.4548517016401766,0.4501786908817158,0.44601002558944336,0.4436249409133597,0.4416524078673581,0.4415889464730704,0.44157753890376344,0.44157750876351043,0.441577487735776,0.44157748049670753,0.4415774778777291,0.44157747771911865,0.44157747771846245

13 - model save
12.0 K  /user/gaoToby/model_saved/tmp/modelLocation/bestModel
1.1 K   /user/gaoToby/model_saved/tmp/modelLocation/estimator
376     /user/gaoToby/model_saved/tmp/modelLocation/evaluator
3.7 K   /user/gaoToby/model_saved/tmp/modelLocation/metadata
【Scala-ML】使用Scala构建机器学习工作流
Jason Ding的专栏
03-19 6789
引言在这一小节中，我将介绍基于数据（函数式）的方法来构建数据应用。这里会介绍monadic设计来创建动态工作流，利用依赖注入这样的高级函数式特性来构建轻便的计算工作流。建模过程在统计学和概率论中，一个模型通过描述从一个系统中观察到的数据来表达任何形式的不确定性，模型使得我们可以用来推断规则，进行预测，从数据中学习有用的东西。 对于有经验的Scala程序员而言，模型常常和monoid联系起来。mon
从零开始学Scala，这些学习网站让你轻松入门！
qq_45746668的博客
12-09 541
Scala，可伸缩的语言，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计。它是以Java虚拟机（JVM）为运行环境并将面向对象编程和函数式编程的最佳特性结合在一起的静态类型编程语言。 Scala的设计初衷是实现一种可伸缩的语言，并集成面向对象编程和函数式编程的各种特性。同时，Scala也是一种纯粹的面向对象语言，因为每个值都是一个对象。此外，它支持面向对象编程和函数式编程。
Scala数据分析与机器学习实战课程
最新发布
weixin_36173034的博客
08-26 1030
本文还有配套的精品资源，点击获取 简介：DALC_Scala是一个针对Scala开发者的训练课程，专注于数据分析和机器学习。本课程将使用Jupyter Notebook作为交互式开发环境，涵盖Scala编程语言的基础知识，以及如何使用Scala进行数据预处理、模型训练和结果可视化。通过实践任务，学生将掌握Scala在数据科学领域中的应用，包括与Apache Spark的集成...
Scala 机器学习库
用心做事
07-29 5150
自然语言处理 ScalaNLP—机器学习和数值计算库的套装 Breeze —Scala用的数值处理库 Chalk—自然语言处理库。 FACTORIE—可部署的概率建模工具包，用Scala实现的软件库。为用户提供简洁的语言来创建关系因素图，评估参数并进行推断。 数据分析/数据可视化 MLlib in Apache Spark—Spark下的分布式机器学
scala机器学习
积水成渊
01-04 316
(1)模型分析 线性回归模型 GBT模型 随机森林模型 小型训练数据集,精度不高 一次训练一棵树,减少了树的偏差 并行训练多棵树,不太容易过拟合,减少了树的方差;调整随机森林更容易. (2)电信客户流失分析预测 DT(决策树) DT是一种监督学习,可以用来解决分类和回归问题. ...
《Scala机器学习》一一3.3　应用
weixin_33898233的博客
07-04 271
本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.3节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3　应用 下面会介绍Spark/Scala中的一些实际示例和库，具体会从一个非常经典的单词计数问题开始。3.3.1　单词计数大多数现代机器学习算法需要多次传递数据。...
《机器学习实战（Scala实现）》（三）——决策树
03-26 5122
【代码】《机器学习实战（Scala实现）》（三）——决策树。
scala机器学习实战（三） 保险数据预测分析（LR算法详解）
齐天大圣数据候的博客
03-19 2867
LR算法详解 前言   前景提要，前两篇文章，借助于Scala Machine Learning Projects一书，利用保险服务的数据，进行了保险行业数据的预测分析，第一篇文章分别用了三种不同的算法进行相同数据的测试，来对比三种算法的模型性能；第二篇则详细通过LR实例解释了spark机器学习中各种输入参数和模型评估的输出参数所代表的的实际意义，本篇文章将详细阐述LR算法的原理，作用以及代码实现...
ScalaMLExamples:使用微风库的Scala机器学习Coursera示例
05-03
ScalaMLExamples是一个项目，它包含了使用微风库（Breeze）进行机器学习的示例，主要针对Coursera上的相关课程。微风库是Scala语言中的一个科学计算库，特别适用于数值运算和机器学习任务。这个项目的目的是帮助学习...
Hadoop 和 Spark 的安装、环境配置、使用教程以及一个分布式机器学习项目示例.docx
07-14
假设有一个大规模的数据集，希望通过分布式的方式训练一个机器学习模型。可以使用Spark MLlib库来实现这一目标。下面是一个简单的线性回归模型训练的例子。 **4.1 准备数据集** 假设已经准备好了CSV格式的数据集，...
利用Scala构建机器学习系统指南
读者可以了解到如何处理和清洗数据，如何构建有效的特征，以及如何实现常见的机器学习模型，如决策树、随机森林、支持向量机和深度学习模型。 本书不仅介绍了理论概念，还提供了大量的实践案例和代码示例，使得理论...
MLearning：在Scala中实现的简单机器学习算法
02-26
移动学习 通过不使用任何“智能”库在Scala中实现的简单机器学习算法。 当前，该项目具有以下解决方案： NQueens [回溯] TicTacToe [MiniMax算法] 有向图[回溯]
hadoop&spark安装、环境配置、使用教程、应用项目（如分布式机器学习）源代码
07-11
- 使用Spark MLlib等机器学习库，在分布式环境下训练机器学习模型。 4. **模型评估：** - 对训练好的模型进行评估，验证其准确性和性能。 5. **模型部署：** - 将训练好的模型部署到生产环境中，进行实时或批量的...
从零开始构建机器学习平台——架构设计、模块拆解及实现方案
AI天才研究院
08-10 831
概述在当今数据驱动的时代,机器学习已经成为众多行业和领域的核心技术。然而,构建一个完整、高效且可扩展的机器学习平台仍然是一项复杂的工程挑战。从数据收集和预处理,到模型训练、评估和部署,再到持续监控和优化,每个环节都需要精心设计和实现。本文旨在为读者提供一个全面的指南,详细介绍如何从零开始构建一个功能完备的机器学习平台。我们将深入探讨平台的整体架构设计,各个关键模块的功能和实现,以及在实际开发过程中可能遇到的挑战和解决方案。
Scala的Apache Spark机器学习示例
04-01 457
在此Apache Spark机器学习示例中，将介绍Spark MLlib并审查Scala源代码。 这篇文章和随附的截屏视频将演示自定义Spark MLlib Spark驱动程序应用程序。 然后，将检查Spark MLLib Scala源代码。 将显示和解释许多主题，但首先，让我们描述一些机器学习概念。 机器学习关键概念 什么是机器学习？ 机器学习正在创建和使用从数据中学习的模型。 您...
Spark 2.0 机器学习 ML 库：常见的机器学习模型（Scala 版）
热门推荐
IT小村
08-15 1万+
一、前言 机器学习中，人为地设计算法，需要一定的知识积淀。 而使用别人设计好的机器学习库如 Spark 2.0 ML，那是基本不需要什么基础的，开箱即用。 首先，看一个简单、完整、规范的案例，无疑是最好的方式。 之前的文章（内含短小精悍的案例）： Spark 2.0 机器学习 ML 库：特征提取、转化、选取（Scala 版） Spark 2.0 机器学习 ML 库：机器学...
scala案例_Scala案例类和案例对象深入（第2部分）
从零开始的教程世界
07-09 676
scala案例 发表简短目录 (Post Brief TOC) Introduction 介绍 Scala’s Case Class Benefit-6 Scala案例类权益6 Advantages of Scala’s Case Classes Scala案例类的优势 Case Class Parameters 案例类别参数 Case Class Parameters with “var” 带有...
scala 机器学习库
宁静致远
08-05 649
Scala 机器学习库： http://blog.csdn.net/john_f_lau/article/details/38261245
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值