Spark-MLlib实例——逻辑回归

最新推荐文章于 2024-07-06 09:36:32 发布
最新推荐文章于 2024-07-06 09:36:32 发布
阅读量5k 收藏 6
点赞数 2
分类专栏： Spark 数据分析挖掘 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/51176563
版权
本文通过Spark-MLlib的HashingTF和LogisticRegressionWithSGD，展示如何利用逻辑回归进行二元分类，具体案例为垃圾邮件的识别。通过对spam.txt数据集的训练，构建并应用垃圾邮件分类器。
摘要由CSDN通过智能技术生成

Spark-MLlib实例——逻辑回归，应用于二元分类的情况，这里以垃圾邮件分类为例，即是否为垃圾邮件两种情况。


1、垃圾邮件分类，使用Spark-MLlib中的两个函数： 

1）HashingTF： 从文本数据构建词频（term frequency）特征向量

2）LogisticRegressionWithSGD： 使用随机梯度下降法（Stochastic Gradient Descent）,实现逻辑回归。


2、训练原数据集

垃圾邮件例子 spam.txt

Dear sir, I am a Prince in a far kingdom you have not heard of.  I want to send you money via wire transfer so please ...
Get Viagra real cheap!  Send money right away to ...
Oh my gosh you can be really strong too with these drugs found in the rainforest. Get them cheap right now ...
YOUR COMPUTER HAS BEEN INFECTED!  YOU MUST RESET YOUR PASSWORD.  Reply to this email with your password and SSN ...
THIS IS NOT A SCAM!  Send money and get access to awesome stuff really cheap and never have to ...

非垃圾邮件例子 normal.txt

最低0.47元/天 解锁文章
kwu_ganymede
关注
专栏目录
Spark MLlib朴素贝叶斯算法（附代码）
尬聊码农
07-15 2133
目录 引言 一、贝叶斯定理 1.定义 2.公式推导 二、朴素贝叶斯 1.算法介绍 2.朴素贝叶斯分类器 3.学习与分类算法 4.拉普拉斯平滑 5.离散型和连续型特征属性 6.分类流程 7.朴素贝叶斯三种模型 8.案例说明 三、Spark MLlib朴素贝叶斯 四、总结 引言 目前很多分类算法都能实现分类的效果...
Spark机器学习入门实例——大数据集(30+g)二分类
大数据Spark教程
12-20 611
本篇教程将引领大家，通过使用spark的机器学习性能和 Scala ，练习一个基于超出内存可加载范围的数据集的逻辑回归分类器（即LR分类器）。 假如你想创建一个机器学习模型，但却发现你的输入数据集与你的计算机内存不相符？对于多机器的计算集群环境中通常可以使用如Hadoop和Apache Spark分布式计算工具。然而，Apache Spark能够在本地机器独立模式上，甚至在当输入数据集大于你...
spark mllib特征使用案例讲解
11-30
讲述了spark 中提供的spark 相关特征操作
基于spark Mllib(ML)聚类实战
weixin_30293079的博客
08-08 239
写在前面的话：由于spark2.0.0之后ML中才包括LDA,GaussianMixture 模型，这里k-means用的是ML模块做测试，LDA,GaussianMixture 则用的是MLlib模块 数据资料下载网站，大力推荐！！！ http://archive.ics.uci.edu/ml/datasets.html?format=&task=clu&a...
逻辑回归及案例
最新发布
qq_45773760的博客
07-06 329
逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，最大的区别就在于它们的因变量不同，如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归。Logistic回归虽然名字里带“回归”，但它实际上是一种分类方法，主要用于二分类问题（即输出只有两种，分别代表两个类别），也可以处理多分类问题。
Spark-MLlib实例——决策树
张伟的专栏
02-18 1899
Spark-MLlib实例——决策树 通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： [plain] view plain copy   女儿：多大年纪了？   母亲：26。   女儿：长的帅不帅？   母亲：挺帅的。   女儿：收入高不？   母亲：不算很高，中等情况。  
Spark入门实战系列--8.Spark MLlib（下）--机器学习库SparkMLlib实战
weixin_33725272的博客
09-10 368
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、MLlib实例 1.1 聚类实例 1.1.1 算法说明 聚类（Cluster analysis）有时也被翻译为簇类，其核心任务是：将一组目标object划分为若干个簇，每个簇之间的object尽可能相似，簇与簇之间的object尽可能相异。聚类算法是机器学习（或者说是数据挖掘更合适）中重要的...
Spark Mllib数据挖掘入门十一——综合案例
u011249837的专栏
03-09 896
本文主要研究一个较为基础的、经典的数据挖掘任务，包括数据的预处理、数据的分析性挖掘和多种MLlib算法的使用。 具体目标是研究不同的鸢尾花的生长分布，以及种类的判定方法，其中会使用到回归分析方法以及决策树方法，这些都是现实中常用的数据挖掘方法。 1.建模说明 不同种类的鸢尾花有着不同的特征外貌，相同一类的鸢尾花有不同的特征，而不同类的鸢尾花可能会有着相同的特征，因此研究其分类并对其做出预测以提高采集分类的准确率是很有必要的。 鸢尾花数据集是由杰出的统计学家R.A.Fisher在20世纪30年代中期创建的
Spark MLlib——使用逻辑回归算法进行邮件分类
大唐帝国—前营
08-03 821
import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.classification.{LogisticRegressionModel, LogisticRegressionWithSGD} import org.apache.spark.mllib.feature.HashingTF import org.apa...
大数据机器学习之KNN（k近邻）算法Spark mllib实现案例
xiaohu21的博客
11-01 2225
大数据机器学习之KNN（k近邻）算法Spark mllib实现案例 背景 在大数据场景下，spark框架提供了支持分类，聚合，协同过滤，回归四大类场景的mllib模块 本文讲述的knn刚好是spark mllib不支持，但可以自行实现的算法。 案例 数据 标注的训练数据 label,f1,f2,f3,f4,f5 0,10,20,30,40,30 0,12,22,29,42,35 0,11,21,31,40,34 0,13,22,30,42,32 0,12,22,32,41,33 0,10,21,
spark mllib 常用的自学demo
09-21
自己本人线下记录的一些关于spark学习的例子，大家可以参考下，比如刚学习或者接触大数据的朋友可以看一下。
Spark中ml和mllib库特征处理例子及其文档总结
knowfarhhy
11-09 948
ML MLlib中特征选择可用算子总结
利用Spark MLlib实现Kmeans算法实例(Python)
科研糖
04-11 3751
聚类 - spark.mllib 聚类是一种无监督的学习问题，我们的目标是根据一些相似的概念将实体的子集相互分组。聚类通常用于探索性分析和/或作为分层 监督学习管线（其中针对每个群集训练不同的分类器或回归模型）的组成部分。 该spark.mllib软件包支持以下模型： K-means Gaussian mixture Power iteration clustering (PIC) L...
SparkMLlib线性回归算法案例
若兰幽竹
12-06 3282
SparkMLlib线性回归算法案例一、SparkMLlib线性回归模型二、案例实现 一、SparkMLlib线性回归模型 MLlib的线性回归模型采用随机梯度下降算法来优化目标函数。MLlib实现了分布式的随机梯度下降算法，其分布方法是：在每次迭代中，随机抽取一定比例的样本作为当前迭代的计算样本；对计算样本中的每一个样本分别计算梯度（分布式计算每个样本的梯度）；然后再通过聚合函数对样本的梯度进行累加，得到该样本的平均梯度及损失；最后根据最新的梯度及上次迭代的权重进行权重的更新。 MLlib线性回归
sparkMLlib逻辑线性回归demo
qq_16234927的博客
07-11 260
这里写一个逻辑线性回归demo import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.regression.{IsotonicRegression, IsotonicRegressionModel, Labe...
mllib逻辑回归 spark_Spark Mllib中逻辑回归
weixin_34589862的博客
02-17 668
1相关参数设置<1> setMaxIter()：设置最大迭代次数<2> setRegParam()： 设置正则项的参数，控制损失函数与惩罚项的比例，防止整个训练过程过拟合，默认为0<3> setElasticNetParam()：使用L1范数还是L2范数setElasticNetParam=0.0 为L2正则化；setElasticNetParam=1.0 为L...
mllib逻辑回归 spark_大数据技术之Spark mllib 逻辑回归
weixin_29938387的博客
12-31 217
本篇教程探讨了大数据技术之Spark mllib 逻辑回归，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。逻辑回归逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值(像二进制值0/1，是/否，真/假)。简单来说，它就是通过拟合一个逻辑函数(logitfuction)来预测一个事件发生的概率。所以它预测的是一个概率值，自然，它的输出值...
Sparkmllib scala逻辑回归
麻辣香蕉
06-28 687
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大.
Spark MLlib 实战：逻辑回归二元分类分析
"Spark MLlib 用于逻辑回归二元分类的实现" 在机器学习领域，逻辑回归是一种广泛使用的二分类算法，它通过构建一个线性函数来预测目标变量属于正类（1）或负类（0）的概率。在这个场景中，我们看到的是使用Apache ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值