SparkMLlib---SGD随机梯度下降算法

最新推荐文章于 2024-07-31 14:47:45 发布

汪本成

最新推荐文章于 2024-07-31 14:47:45 发布

阅读量2.7k

点赞数

分类专栏：大数据-SparkMllib

本文链接：https://blog.csdn.net/sinat_31726559/article/details/52124875

版权

本文深入探讨了Spark MLlib库中的SGD（随机梯度下降）算法，通过实例展示了如何使用它进行机器学习模型训练，并分享了运行结果和关键参数调优的经验。

摘要由CSDN通过智能技术生成

代码：

package mllib


import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkContext, SparkConf}

import scala.collection.mutable.HashMap

/**
  * 随机梯度下降算法
  * Created by 汪本成 on 2016/8/5.
  */
object SGD {

  //屏蔽不必要的日志显示在终端上
  Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
  Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF)

  //程序入口
  val conf = new SparkConf()
    .setMaster("local[1]")
    .setAppName(this.getClass().getSimpleName()
    .filter(!_.equals('$')))
  
  println(this.getClass().getSimpleName().filter(!_.equals('$')))

  val