Spark 多项式逻辑回归__多分类

最新推荐文章于 2021-12-05 23:04:54 发布
最新推荐文章于 2021-12-05 23:04:54 发布
阅读量272 收藏
点赞数
文章标签： scala 大数据 数据结构与算法
原文链接：http://www.cnblogs.com/soyo/p/7787647.html
版权 
package Spark_MLlib

import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.{BinaryLogisticRegressionSummary, LogisticRegression, LogisticRegressionModel}
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
import org.apache.spark.ml.feature.{IndexToString, StringIndexer, VectorIndexer}
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.sql.SparkSession


object 多项式逻辑回归__多分类 {
  val spark=SparkSession.builder().master("local").getOrCreate()
  import spark.implicits._  //支持把一个RDD隐式转换为一个DataFrame
  def main(args: Array[String]): Unit = {
    val df =spark.sparkContext.textFile("file:///home/soyo/桌面/spark编程测试数据/soyo.txt")
      .map(_.split(",")).map(x=>data_schema(Vectors.dense(x(0).toDouble,x(1).toDouble,x(2).toDouble,x(3).toDouble),x(4))).toDF()
   // df.show(150)
    val labelIndexer=new StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(df)
    val featureIndexer=new VectorIndexer().setInputCol("features").setOutputCol("indexedFeatures").fit(df)  //目的在特征向量中建类别索引
    val Array(trainData,testData)=df.randomSplit(Array(0.7,0.3))
    val lr=new LogisticRegression().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures").setMaxIter(10).setRegParam(0.3).setElasticNetParam(0.8).setFamily("multinomial")//设置elasticnet混合参数为0.8,setFamily("multinomial"):设置为多项逻辑回归,不设置setFamily为二项逻辑回归
    val labelConverter=new IndexToString().setInputCol("prediction").setOutputCol("predictionLabel").setLabels(labelIndexer.labels)

    val lrPipeline=new Pipeline().setStages(Array(labelIndexer,featureIndexer,lr,labelConverter))
    val lrPipeline_Model=lrPipeline.fit(trainData)
    val lrPrediction=lrPipeline_Model.transform(testData)
    lrPrediction.show(150)
    // lrPrediction.take(100).foreach(println)
    //模型评估
    val evaluator=new MulticlassClassificationEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction")
    val lrAccuracy=evaluator.evaluate(lrPrediction)
    println("准确率为： "+lrAccuracy)
    val lrError=1-lrAccuracy
    println("错误率为: "+lrError)
    val LRmodel=lrPipeline_Model.stages(2).asInstanceOf[LogisticRegressionModel]
    println("二项逻辑回归模型系数矩阵: "+LRmodel.coefficientMatrix)
    println("二项逻辑回归模型的截距向量: "+LRmodel.interceptVector)
    println("类的数量(标签可以使用的值): "+LRmodel.numClasses)
    println("模型所接受的特征的数量: "+LRmodel.numFeatures)
  //多项式逻辑回归不包含对模型的摘要总结
    println(LRmodel.hasSummary)

  }

}

结果：

+-----------------+-----+------------+-----------------+--------------------+--------------------+----------+---------------+
|         features|label|indexedLabel|  indexedFeatures|       rawPrediction|         probability|prediction|predictionLabel|
+-----------------+-----+------------+-----------------+--------------------+--------------------+----------+---------------+
|[4.4,3.2,1.3,0.2]|soyo1|         1.0|[4.4,3.2,1.3,0.2]|[0.06313829278191...|[0.23858281707128...|       1.0|          soyo1|
|[4.6,3.4,1.4,0.3]|soyo1|         1.0|[4.6,3.4,1.4,0.3]|[0.06313829278191...|[0.23750012598226...|       1.0|          soyo1|
|[4.7,3.2,1.6,0.2]|soyo1|         1.0|[4.7,3.2,1.6,0.2]|[0.06313829278191...|[0.24710416166321...|       1.0|          soyo1|
|[4.8,3.4,1.6,0.2]|soyo1|         1.0|[4.8,3.4,1.6,0.2]|[0.06313829278191...|[0.23716995683018...|       1.0|          soyo1|
|[4.8,3.4,1.9,0.2]|soyo1|         1.0|[4.8,3.4,1.9,0.2]|[0.06313829278191...|[0.24567798276462...|       1.0|          soyo1|
|[4.9,2.4,3.3,1.0]|soyo2|         0.0|[4.9,2.4,3.3,1.0]|[0.06313829278191...|[0.38071131817453...|       0.0|          soyo2|
|[5.0,3.2,1.2,0.2]|soyo1|         1.0|[5.0,3.2,1.2,0.2]|[0.06313829278191...|[0.23576075216827...|       1.0|          soyo1|
|[5.0,3.5,1.3,0.3]|soyo1|         1.0|[5.0,3.5,1.3,0.3]|[0.06313829278191...|[0.22978111243935...|       1.0|          soyo1|
|[5.2,4.1,1.5,0.1]|soyo1|         1.0|[5.2,4.1,1.5,0.1]|[0.06313829278191...|[0.19523110424215...|       1.0|          soyo1|
|[5.4,3.9,1.3,0.4]|soyo1|         1.0|[5.4,3.9,1.3,0.4]|[0.06313829278191...|[0.21630436073381...|       1.0|          soyo1|
|[5.5,2.4,3.8,1.1]|soyo2|         0.0|[5.5,2.4,3.8,1.1]|[0.06313829278191...|[0.39807479409636...|       0.0|          soyo2|
|[5.5,2.5,4.0,1.3]|soyo2|         0.0|[5.5,2.5,4.0,1.3]|[0.06313829278191...|[0.40810357240132...|       0.0|          soyo2|
|[5.6,2.8,4.9,2.0]|soyo3|         2.0|[5.6,2.8,4.9,2.0]|[0.06313829278191...|[0.44454733071968...|       0.0|          soyo2|
|[5.7,2.9,4.2,1.3]|soyo2|         0.0|[5.7,2.9,4.2,1.3]|[0.06313829278191...|[0.39634982244233...|       0.0|          soyo2|
|[5.8,2.6,4.0,1.2]|soyo2|         0.0|[5.8,2.6,4.0,1.2]|[0.06313829278191...|[0.39930520027794...|       0.0|          soyo2|
|[5.8,2.7,4.1,1.0]|soyo2|         0.0|[5.8,2.7,4.1,1.0]|[0.06313829278191...|[0.38762610877473...|       0.0|          soyo2|
|[5.8,2.7,5.1,1.9]|soyo3|         2.0|[5.8,2.7,5.1,1.9]|[0.06313829278191...|[0.44792417666537...|       0.0|          soyo2|
|[5.9,3.0,5.1,1.8]|soyo3|         2.0|[5.9,3.0,5.1,1.8]|[0.06313829278191...|[0.43418725338764...|       0.0|          soyo2|
|[6.0,2.2,4.0,1.0]|soyo2|         0.0|[6.0,2.2,4.0,1.0]|[0.06313829278191...|[0.40634099537710...|       0.0|          soyo2|
|[6.0,2.7,5.1,1.6]|soyo2|         0.0|[6.0,2.7,5.1,1.6]|[0.06313829278191...|[0.43688076686419...|       0.0|          soyo2|
|[6.0,3.4,4.5,1.6]|soyo2|         0.0|[6.0,3.4,4.5,1.6]|[0.06313829278191...|[0.39704954911011...|       0.0|          soyo2|
|[6.2,2.2,4.5,1.5]|soyo2|         0.0|[6.2,2.2,4.5,1.5]|[0.06313829278191...|[0.43847273913421...|       0.0|          soyo2|
|[6.2,2.8,4.8,1.8]|soyo3|         2.0|[6.2,2.8,4.8,1.8]|[0.06313829278191...|[0.43518321759857...|       0.0|          soyo2|
|[6.3,2.7,4.9,1.8]|soyo3|         2.0|[6.3,2.7,4.9,1.8]|[0.06313829278191...|[0.44055947195014...|       0.0|          soyo2|
|[6.3,2.9,5.6,1.8]|soyo3|         2.0|[6.3,2.9,5.6,1.8]|[0.06313829278191...|[0.44715759200377...|       0.0|          soyo2|
|[6.3,3.4,5.6,2.4]|soyo3|         2.0|[6.3,3.4,5.6,2.4]|[0.06313829278191...|[0.45196576310313...|       0.0|          soyo2|
|[6.4,2.8,5.6,2.1]|soyo3|         2.0|[6.4,2.8,5.6,2.1]|[0.06313829278191...|[0.46017875340546...|       0.0|          soyo2|
|[6.4,2.8,5.6,2.2]|soyo3|         2.0|[6.4,2.8,5.6,2.2]|[0.06313829278191...|[0.46321910727428...|       0.0|          soyo2|
|[6.4,3.1,5.5,1.8]|soyo3|         2.0|[6.4,3.1,5.5,1.8]|[0.06313829278191...|[0.43862320280893...|       0.0|          soyo2|
|[6.4,3.2,4.5,1.5]|soyo2|         0.0|[6.4,3.2,4.5,1.5]|[0.06313829278191...|[0.40056786531830...|       0.0|          soyo2|
|[6.5,3.0,5.5,1.8]|soyo3|         2.0|[6.5,3.0,5.5,1.8]|[0.06313829278191...|[0.44199581778961...|       0.0|          soyo2|
|[6.6,2.9,4.6,1.3]|soyo2|         0.0|[6.6,2.9,4.6,1.3]|[0.06313829278191...|[0.40579282648595...|       0.0|          soyo2|
|[6.7,2.5,5.8,1.8]|soyo3|         2.0|[6.7,2.5,5.8,1.8]|[0.06313829278191...|[0.46287803722998...|       0.0|          soyo2|
|[6.7,3.0,5.2,2.3]|soyo3|         2.0|[6.7,3.0,5.2,2.3]|[0.06313829278191...|[0.45387841693477...|       0.0|          soyo2|
|[6.7,3.1,4.7,1.5]|soyo2|         0.0|[6.7,3.1,4.7,1.5]|[0.06313829278191...|[0.40924150360290...|       0.0|          soyo2|
|[6.7,3.3,5.7,2.5]|soyo3|         2.0|[6.7,3.3,5.7,2.5]|[0.06313829278191...|[0.45972648058424...|       0.0|          soyo2|
|[6.8,3.0,5.5,2.1]|soyo3|         2.0|[6.8,3.0,5.5,2.1]|[0.06313829278191...|[0.45251276088924...|       0.0|          soyo2|
|[6.8,3.2,5.9,2.3]|soyo3|         2.0|[6.8,3.2,5.9,2.3]|[0.06313829278191...|[0.45975331380088...|       0.0|          soyo2|
|[6.9,3.2,5.7,2.3]|soyo3|         2.0|[6.9,3.2,5.7,2.3]|[0.06313829278191...|[0.45642868507279...|       0.0|          soyo2|
|[7.2,3.0,5.8,1.6]|soyo3|         2.0|[7.2,3.0,5.8,1.6]|[0.06313829278191...|[0.44031726493318...|       0.0|          soyo2|
|[7.2,3.2,6.0,1.8]|soyo3|         2.0|[7.2,3.2,6.0,1.8]|[0.06313829278191...|[0.44483171938259...|       0.0|          soyo2|
|[7.6,3.0,6.6,2.1]|soyo3|         2.0|[7.6,3.0,6.6,2.1]|[0.06313829278191...|[0.47047723863543...|       0.0|          soyo2|
|[7.7,3.0,6.1,2.3]|soyo3|         2.0|[7.7,3.0,6.1,2.3]|[0.06313829278191...|[0.46845272424381...|       0.0|          soyo2|
|[7.7,3.8,6.7,2.2]|soyo3|         2.0|[7.7,3.8,6.7,2.2]|[0.06313829278191...|[0.45233124776236...|       0.0|          soyo2|
+-----------------+-----+------------+-----------------+--------------------+--------------------+----------+---------------+

准确率为： 0.36458333333333337
错误率为: 0.6354166666666666
二项逻辑回归模型系数矩阵: 3 x 4 CSCMatrix
(1,1) 0.35559564188466614
(1,2) -0.203185158868005
(1,3) -0.43876460704959996
(2,3) 0.0283914830858408
二项逻辑回归模型的截距向量: [0.06313829278191783,0.1708622138778958,-0.23400050665981365]
类的数量(标签可以使用的值): 3
模型所接受的特征的数量: 4
false

转载于:https://www.cnblogs.com/soyo/p/7787647.html

weixin_30699955
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
机器学习——逻辑回归与多项逻辑回归
Jessica__Chan的博客
02-04 525
转载自：https://blog.csdn.net/YoYoDelphine/article/details/52888276
多类别逻辑回归（Multinomial Logistic Regression）
热门推荐
huangjx36的博客
09-21 8万+
多类别逻辑回归介绍
逻辑回归算法(Logistic Regression)原理(含多项逻辑斯蒂回归对参数求偏导的推导过程)及numpy代码实现
weixin_44142858的博客
12-05 2704
逻辑回归算法，虽然名字中带有“回归”二字，但解决的却是分类问题，它与线性回归之间有什么样的关系呢？ 文章目录1.二项逻辑斯蒂回归对数几率函数对数几率函数的意义对数似然函数Python代码实现2.多项逻辑斯蒂回归3.总结 1.二项逻辑斯蒂回归 对数几率函数 首先来看二分类任务，考虑这样一个问题： 假设一组数据的分布如上图所示，如何建立一个模型将两个类别区分开来呢？线性回归模型z=WTx+bz = W ^{T}x + bz=WTx+b貌似可以解决这个问题，但是线性回归模型的输出值是一个实值，而二分类任务的输出标
线性回归（三）—— 多项式回归
Paul_1i的博客
01-17 1061
多项式回归 目的 ​ 这里说的是一元的情况。 ​ 多项式回归不再用直线拟合，而是使用曲线，我们要找的函数变成了h(x)=θ0+θ1x+θ2x2+…θnxnh(x) = \theta_0+\theta_1x+\theta_2x^2+…\theta_nx^nh(x)=θ0​+θ1​x+θ2​x2+…θn​xn ​ 还是要找到这些系数。 办法 ​ 其实跟多元线性回归一模一样，把xnx^nxn看成...
JELR.zip_java 回归_java 逻辑回归_回归java实现_逻辑回归_逻辑回归 java
09-14
多项式逻辑回归** 描述中提到的“多项改进”可能指的是对原始逻辑回归模型进行扩展，引入多项式特征，以处理非线性关系。例如，通过添加特征的二次项、交互项等，增加模型的复杂性和灵活性。 **4. 模型评估与优化...
python编写Logistic逻辑回归
09-20
【Python实现逻辑回归】 逻辑回归（Logistic Regression）是一种广泛应用的分类算法，它在机器学习...在实际项目中，我们还需要结合交叉验证、网格搜索等技巧来优化模型，并考虑多分类问题的扩展，如多项式逻辑回归。
spark-mlib-master分类算法
06-27
在Spark MLlib中，支持L1和L2正则化来防止过拟合，并提供了多分类的扩展——多项式逻辑回归。 2. **决策树（Decision Tree）**：是一种基于树状结构进行决策的算法，每个内部节点代表一个特征，每个分支代表一个...
回归算法VS.NET实现
11-24
回归算法有很多种类型，包括简单线性回归、多元线性回归、逻辑回归、多项式回归、岭回归、Lasso回归以及支持向量回归等。每种回归方法都有其特定的应用场景和优缺点。 1. 简单线性回归：这是最基础的回归形式，它...
sparkmlib算法使用有代码输入输出.docx
02-03
本文档主要介绍了 Spark MLlib 中的四个基本分类和回归算法：支持向量机（SVM）、逻辑回归（Logistic Regression）、线性回归（Linear Regression）以及朴素贝叶斯（Naive Bayes），并提供了相关的代码示例和应用...
逻辑回归是个什么逻辑
saltriver的专栏
03-19 8766
说到逻辑回归，可以先回顾下前期的文章《线性回归》。线性回归能够对连续值进行预测，如根据面积对房价进行预测。而在现实生活中，我们还有常见的另一类问题：分类问题。最简单的是二分类问题，即是与否的问题，如得病与否，交易是否合理，能否发放贷款，邮件是否垃圾邮件等。 逻辑回归（logistic regression），虽然名字上有“回归”两字，但它实际应用的是处理分类问题（classification）。
逻辑斯蒂回归 - 多项式回归
姬小野的博客
05-15 1739
文章目录一、预期结果二、实验步骤1）生成数据2）算法实现问题1：为什么要用到sigmoid函数问题2：如何计算梯度算法步骤：1、获取规格化数据（系数矩阵、标签）2、梯度上升法拟合系数3、画图，看看拟合的准不准结果完整代码实现： 一、预期结果 训练一个基于逻辑斯蒂回归的机器学习模型，它能够训练出一条二次曲线，实现二分类问题。他不是线性的，而是多项式的。 二、实验步骤 1）生成数据 首先，我们预期得到...
逻辑回归-4.添加多项式特征
weixin_30527323的博客
09-07 775
逻辑回归解决二分类问题，但是像下图所示的非线性数据集，是没办法用一条直线分割为两部分的。 对于此数据集，用一个圆形或者椭圆形分割是比较合理的，圆形的表达式：\(X_1^2 + X_2^2 - R^2 = 0\) 为了让逻辑回归学习到这样的决策边界，我们需要引入多项式项，\(X_1^2,X_2^2\)分别是\(X_1,X_2\)的二次多项式。使用多项式后，可以定义任意圆心位置的圆、椭圆或...
Spark ML机器学习：多项式转化-PolynomialExpansion
大模型大数据攻城狮的专栏
02-14 2069
  Polynomial expansion是一个将特征展开到多元空间的处理过程，  运用于特征值进行一些多项式的转化，比如平方啊，三次方 。 它通过n-degree结合原始的维度来定义。比如设置degree为2就可以将(x, y)转化为(x, x x, y, x y, y y)。PolynomialExpansion提供了这个功能。 下面的例子展示了如何将特征展开为一个3-degree多项式空...
逻辑回归解决多分类和softmax
SZU_Hadooper的博客
11-23 1万+
我们已经知道，普通的logistic回归只能针对二分类(Binary Classification)问题，要想实现多个类别的分类，我们必须要改进logistic回归，让其适应多分类问题。 关于这种改进，有两种方式可以做到。 第一种方式是直接根据每个类别，都建立一个二分类器，带有这个类别的样本标记为1，带有其他类别的样本标记为0。假如我们有个类别，最后我们就得到了个针对不同标记的普通的logis
Spark ML（3）：回归算法实现（线性回归、逻辑回归）
小蚯蚓的博客
05-18 1804
一、环境配置 1.spark2.1.0-cdh5.7.0（自编译） 2.cdh5.7.0 3.scala2.11.8 4.centos6.4 二、环境准备 1.spark客户端调试环境搭建 参考：https://blog.csdn.net/u010886217/article/details/83279157 2.创建scala项目 参考：https://blog.csdn.ne...
多分类逻辑回归（Multinomial Logistic Regression）
Thinkgamer博客
12-22 5万+
前言 分类从结果的数量上可以简单的划分为： 二分类（Binary Classification） 多分类（Multinomial Classification）。 其中二分类是最常见且使用最多的分类场景，解决二分类的算法有很多，比如： 基本的KNN、贝叶斯、SVM Online Ranking中用来做二分类的包括FM、FFM、GBDT、LR、XGBoost等 多分类中比如： 改进版...
Spark 二项逻辑回归__二分类
weixin_30354675的博客
11-05 170
package Spark_MLlib import org.apache.spark.ml.Pipeline import org.apache.spark.ml.classification.{BinaryLogisticRegressionSummary, LogisticRegression, LogisticRegressionModel} import org....
mllib逻辑回归 spark_Spark MLlib学习——分类和回归
weixin_33997566的博客
01-13 519
本章节介绍了分类和回归的算法。它还包括讨论特定类别的算法部分，如：线性方法，树和集成。下面是整个API Doc中的内容框架，这里不会每个都详细介绍，主要会把用到的介绍出来，后续用到的再陆续添加。(下面的链接都是指向官网文档而不是本笔记中的对应内容所在位置，而且有些内容没有出现在本笔记中)逻辑回归逻辑回归是预测分类问题的流行算法。它是 广义线性模型的一个特例来预测结果的可能性。 在spark.ml逻...
多项式逻辑回归分类器
最新发布
09-27
多项式逻辑回归分类器是一种在逻辑回归中引入多项式特征的方法。它可以用于解决决策边界是复杂多项式的分类问题。在多项式逻辑回归中，我们将输入特征进行多项式扩展，然后使用逻辑回归模型进行分类。这样可以使决策...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值