Spark2 Linear Regression线性回归

最新推荐文章于 2024-04-20 23:47:31 发布

kicilove

最新推荐文章于 2024-04-20 23:47:31 发布

阅读量1.2k

点赞数

分类专栏： Spark 文章标签： spark mllib j

本文链接：https://blog.csdn.net/kicilove/article/details/81221945

版权

本文使用SparkMllib搭建简单的线性回归例子

数据下载地址

package SparkMlibCourse3

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.regression.LinearRegression

/**
  * Created by zhaohui.
  * 利用线性回归模型对数据进行回归预测
  */

object SparkMlibLRAdd1 {
  def main(args: Array[String]): Unit = {

    //设置环境
    //构建Spark对象
    val conf = new SparkConf().setMaster("local") setAppName ("ExampleLinearRegressionWithSGD")
    val sc = new SparkContext(conf)
    val sqc = new SQLContext(sc)
    Logger.getRootLogger.set