Spark-线性回归示例01

最新推荐文章于 2024-07-07 18:11:41 发布

李孟聊人工智能

最新推荐文章于 2024-07-07 18:11:41 发布

阅读量1.4k

点赞数 1

分类专栏：大数据 Spark实战数据挖掘文章标签： spark 线性回归

本文为博主（李孟）原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/qq_19968255/article/details/91541736

版权

Spark实战同时被 3 个专栏收录

25 篇文章 8 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

大数据

37 篇文章 2 订阅

订阅专栏

数据挖掘

12 篇文章 0 订阅

订阅专栏

该博客展示了使用Spark进行线性回归的实例，包括训练过程和结果分析。经过numIterations: 11次迭代，得到的RMSE为0.8788，R^2为0.4209。博客还提供了预测结果示例。

摘要由CSDN通过智能技术生成

房屋普查，预测房价，最后预测结果不太准确，后续会调整，可能的原因：最直接原因指标项没有强线性关系，使用的参数不准确。只是为了熟悉下流程。


import org.apache.spark.ml.feature.StandardScaler
import org.apache.spark.sql.types.{DoubleType, FloatType, StructField, StructType}
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.ml.linalg.Vector
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.ml.regression.LinearRegression

/**
  *
  * 数据集 http://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.html
  * 房屋普查，预测房价
  * 数据集中的每个数据都代表一块区域内房屋和人口基本信息
  * 1.该地区中心的纬度（latitude）
  * 2.该地区中心的经度（longitude）
  * 3.区域内所有房屋屋龄的中位数（housingMedianAge&