spark mlib中机器学习算法的测试（SVM，KMeans, PIC, ALS等）

最新推荐文章于 2024-06-07 11:25:36 发布
最新推荐文章于 2024-06-07 11:25:36 发布
阅读量2.7k 收藏 5
点赞数
分类专栏： Spark 大规模机器学习 文章标签： spark mlib 机器学习算法 算法测试 性能比较
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sparkexpert/article/details/49612649
版权

在学习spark mlib机器学习方面，为了进行算法的学习，所以对原有的算法进行了试验。从其官网（http://spark.apache.org/docs/latest/mllib-guide.html）上进行了相关文档的介绍学习，并通过其给定的例子包中相关进行测试。


（1）SVM测试（SVMwithSGD，要知道在mahout中都不支持SVM的）



（2）Kmeans算法测试



 (3)  LDA算法测试



（4）PIC算法（超强的迭代聚类算法）



（5）推荐系统的ALS算法测试（利用movie lens数据）


同样的数据，用spark选出的MSE精度似乎比其它网页上介绍的0.46多的值要高。这个有待于进一步验证。


(6) 关联挖掘（FPGrowth算法）




通过之前的mahout与spark的学习，总体上mahout用起来非常不方便，而spark开发方便，速度更高效


sparkexpert
关注
专栏目录
spark mlib入门实例
weixin_36111160的博客
05-29 857
1.mlib基本数据类型 2.本地向量集实例 val vd: Vector = Vectors.dense(2,0,6)//打印密集向量 println(vd(2))//打印第三个值 val vs: Vector = Vectors.sparse(4,Array(0,1,2,3),Array(9,5,2,7))//打印稀疏向量 println(vs(2))//打印第三个值 =====
Spark MLlib SVM算法
热门推荐
Spark MLlib 机器学习
05-08 1万+
1.1 SVM支持向量机算法 支持向量机理论知识参照以下文档： 支持向量机SVM（一） http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html 支持向量机SVM（二） http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html 支持向量机（三）
Spark mllib 线性回归测试数据
05-27
Spark mllib 线性回归算法测试数据
Spark编程实验六：Spark机器学习库MLlib编程
Morse_Chen的博客
02-13 2960
通过Spark机器学习库MLlib编程实验掌握基本的MLLib编程方法；掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。
sparkmlib使用Pipeline实现简单的逻辑回归
追赶者的博客
02-15 1903
sparkmlib pipeline
spark机器学习之als
wangkai198911的博客
12-06 554
今天分析一下als算法在spark mlib中的相关应用，关于原理性的东西，还是不多做介绍，als本身是协同过滤算法的一种，08年以来也是使用最频繁的协同过滤算法了。主要的原理性东西，推荐这篇博客： http://blog.csdn.net/antkillerfarm/article/details/53734658 本文章在这里主要还是介绍als算法在spark mlib中的应用，以及在构建r
Spark MLlib机器学习 | 算法综合实战(一)(史上最详细)
天涯芳草
05-19 6962
====================================== ============================ 8.1.1 什么是机器学习 机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。 机器学习强调三个关键词：算法、经验、性能 从最小二乘法说起 ......
深入探索Spark MLlib：大数据时代的机器学习利器
最新发布
06-07 1070
随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。Apache Spark作为大数据处理的利器，其内置的机器学习库MLlib（Machine Learning Library）提供了一套高效、易用的工具，用于处理和分析海量数据。本文将深入探讨Spark MLlib，介绍其核心功能和应用场景，并通过实例展示如何在实际项目中应用这些工具。
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8624
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
mllib调参 spark_Spark入门实战系列--8.Spark MLlib（下）--机器学习库SparkMLlib实战
weixin_39789101的博客
12-19 357
【注】该系列文章以及使用到安装包/测试数据 可以在《1、MLlib实例1.1聚类实例1.1.1算法说明聚类(Cluster analysis)有时也被翻译为簇类，其核心任务是：将一组目标object划分为若干个簇，每个簇之间的object尽可能相似，簇与簇之间的object尽可能相异。聚类算法是机器学习(或者说是数据挖掘更合适)中重要的一部分，除了最为简单的K-Means聚类算法外，比较常见的还有...
matlab代码黄色-mlib_devel:mlib_devel
05-20
matlab代码黄色CASPER工具流程 欢迎使用CASPER Toolflow存储库mlib_devel ！ 什么是mlib_devel？ mlib_devel存储库包含一组由FPGA开发和维护的FPGA DSP库和编程工具。 在合作中，该软件集合被亲切地称为The Toolflow。 CASPER工具流允许您使用MATLAB的图形编程工具Simulink生成信号处理设计。 这些设计可以转换为FPGA比特流，并加载到各种受支持的硬件平台上，以执行实时数字信号处理系统。 CASPER还提供了一个Python软件库，用于与正在运行的设计进行交互：。 使用mlib_devel 有关安装和使用CASPER Toolflow的更多信息，请参见项目的。 如果要为该存储库的特定版本构建文档，可以按照以下步骤进行。 例如，如果您尝试做旧（ROACH2）版本的教程，这可能会很有用。 讲解 CASPER维护了一组，旨在向新用户介绍工具流程。 更新现有的工具流程安装 您始终可以通过从此存储库中提取更新的代码来更新mlib_devel的安装。 如果这样做，则可能需要更新Simulink模型以匹配新的mlib
Spark MLlib简介
William Zhao's notes
05-25 1万+
Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因： （1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任务的启动等工作，这回导致非常大的I/O和CPU消耗。而Spark基于内存的计算模型天生就擅长迭代计算，多个步骤计算直接在内存中
[MLLib]一、Spark MLLib介绍
无名的博客
01-04 5544
一、机器学习是一门人工智能的科学。利用数据或以往的经验，以此优化计算机程序的性能标准。英文定义： A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in
Spark系列--Mlib(1)
UnionIBM的博客
09-03 910
ML Pipelines（ML管道） Pipelines的主要概念 MLlib 将机器学习算法的API标准化，以便将多种算法更容易地组合成单个 Pipeline （管道）或者工作流。本节介绍Pipelines API 的关键概念,其中 Pipeline（管道）的概念主要是受到 scikit-learn 项目的启发. DataFrame（数据模型）：ML API 将从Spark SQL查出来的...
MLib基础
mumuwzj的博客
05-14 2372
1）MLib是一个构建在Spark上的专门针对大数据处理的并发式高速机器学习库，采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎 2）目前MLlib中已经有通用的学习算法和工具类，包括统计、分类、回归、聚类、降维等。 3）MLlib采用Scala语言编写，Scala语言是运行在JVM上的一种函数式编程语言，特点就是可移植性强，“一次编写，到处运行”是其最重要的特点。借助于RDD数据统一输入格式，让用户可以在不同的IDE上编写数据处理程序，通过本地化测试后可以在略
spark官方文档Mlib学习（一）
leemusk的博客
11-20 1093
机器学习库指南 MLlib时Spark的机器学习库，其目标是使实用的机器学习可扩展切容易。在较高级别，它提供了以下工具： 机器学习算法：常用的学习算法如分类，回归，聚类，和协同过滤。 特征化：特征抽取，变换，降维和选择 管道：用于构建，评估和调整ML管道的工具 声明：基于DataFrame的API是主要API 基于MLlib RDD的API现在处于维护模式。 Data sources 在本节中...
spark mlib坐标矩阵（Coordinate Matrix）
鸭梨的博客
02-13 1452
坐标矩阵CoordinateMatrix是一个基于矩阵项构成的RDD的分布式矩阵。每一个矩阵项MatrixEntry都是一个三元组：(i: Long, j: Long, value: Double)，其中i是行索引，j是列索引，value是该位置的值。 坐标矩阵一般在矩阵的两个维度都很大，且矩阵非常稀疏的时候使用。 CoordinateMatrix实例可通过RDD[MatrixEntry]实例来创建，其中每一个矩阵项都是一个(rowIndex, colIndex, elem)的三元组 import or
Spark-Spark MLib简介
chenbengang的博客
12-30 3605
Spark MLib简介 hadopp实现机器学习：MapReduce也可以编写机器学习，基于磁盘操作，多次迭代计算磁盘IO开销大。 spark实现机器学习：spark是基于内存，只有shuffle操作需要落磁盘，实现管道化处理，在内存中完成数据交接。大大减少在磁盘的IO开销。基于MLib库。 MLib包含： 分类、回归、聚类、协同过滤、降维。 特征化工具：特征提取、转化、降维、选择工具...
Spark2.0机器学习系列之11： 聚类(幂迭代聚类， power iteration clustering， PIC)
qq_34531825的博客
09-26 1万+
幂迭代聚类， power iteration clustering， PIC 原理简介 Spark 代码 参数设置
Spark MLib：分布式机器学习库详解
本章主要介绍如何在Spark程序中使用MLib，适用于有一定机器学习背景的数据分析师和工程师。MLib通过RDDs处理数据，提供特定的数据类型如LabeledPoints和Vectors，并提供一系列算法，如文本分类中的向量化和逻辑回归...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值