Spark MLlib - Iris（鸢尾花卉）数据集 LogisticRegression（逻辑回归）

最新推荐文章于 2023-05-08 14:35:01 发布

置顶光于前裕于后

最新推荐文章于 2023-05-08 14:35:01 发布

阅读量5k

点赞数

分类专栏：大数据动物园 Spark 大数据基础知识文章标签： spark scala mllib Iris 逻辑回归

本文链接：https://blog.csdn.net/Dr_Guo/article/details/77506641

版权

大数据基础知识同时被 3 个专栏收录

28 篇文章 18 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据动物园

95 篇文章 6 订阅

订阅专栏

Spark

27 篇文章 1 订阅

订阅专栏

本文介绍了使用Spark MLlib库处理鸢尾花卉数据集进行逻辑回归分析的过程。在分析中发现，原始数据集的标签不是从0开始的，需要将其转换为从0.0开始的double类型，以符合LabeledPoint的要求。同时，解决了因引入重复的spark-mllib库导致的冲突问题。

摘要由CSDN通过智能技术生成

所用数据：http://download.csdn.net/download/dr_guo/9946656
环境版本：Spark 1.6.1; Scala 2.10.4; JDK 1.7

详见注释

package com.beagledata.test

import org.apache.spark.mllib.classification.{LogisticRegressionWithSGD,LogisticRegressionWithLBFGS}
import org.apache.spark.mllib.classification.LogisticRegressionModel
import org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.log4j.{Level,Logger}
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.sql.SQLContext
import org.apache.spark.mllib.linalg.{Vector, Vectors}  
import org.apache.spark.mllib.regression.LabeledPoint


object IrisLogisticModelTest ext