MLUtils.loadLibSVMFile

最新推荐文章于 2021-04-23 11:17:42 发布
最新推荐文章于 2021-04-23 11:17:42 发布
阅读量722 收藏
点赞数
文章标签： 大数据 scala 人工智能
原文链接：http://www.cnblogs.com/suanec/p/4786347.html
版权 
1 import org.apache.spark.mllib.util.MLUtils// Load and parse the data file.
2 
3 val data =
4 
5 MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")
6 
7 // Split data into training/test sets

 

转载于:https://www.cnblogs.com/suanec/p/4786347.html

weixin_30583563
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mlutils:Python中常用的机器学习功能的集合
04-27
mlutils Python中常用的机器学习功能的集合。 安装 方法1：使用本机pip安装 pip install git+https://github.com/prasunroy/mlutils.git 方法2：手动安装 git clone https://github.com/prasunroy/mlutils.git cd mlutils python setup.py install 图像数据构建功能 从下载图像 描述 fetch_imagenet(dst, wnids=[], limit=0, verbose=True) Downloads images from ImageNet (http://www.image-net.org). Args: dst : Destination directory for images.
loadLibSVMFile 源码
陈陈的专栏
06-17 2633
/** * Loads labeled data in the LIBSVM format into an RDD[LabeledPoint]. * The LIBSVM format is a text-based format used by LIBSVM and LIBLINEAR. * Each line represents a labeled sparse featur
Spark MLlib分布式机器学习源码分析：集成树模型
大数据之眸
03-26 449
Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。本文结合机器学习思想与Spark框架代码结构来实现分布式机器学习过程，希望与大家一起学习进步～ 目录 1.随机森林概念 2随机森林参数 3.随机森林实例 4.随机森林源码 5...
Scala学习(本地向量集 loadLibSVMFile)
三人行必有我师,手写三行必有所悟
07-25 7059
这是SVM文件格式例子：1 1:2 2:3 3:42 1:1 2:2 3:31 1:1 2:3 3:31 1:3 2:1 3:3需要注意以下几点：1）标签列可以重复2）索引要从1开始，从0开始的时候生成的内部索引时从-1开始，而且数据长度会比实际少1；3）数据的长度是以最大列数为准的，因此最好是要保持数据列数一致；Scala的MLib支持的本地数据的类型主要是整数和浮点数，因为MLib主要是用
Spark的MLlib使用基本数据类型：向量、标签点、矩阵、稀疏格式文件libSVM
金啊豆嘞的博客
04-23 450
Spark MLlib库实现了很多的机器学习算法，其基本的几类数据类型解释及代码演示如下。 import org.apache.spark.mllib.linalg.distributed.{BlockMatrix, CoordinateMatrix, IndexedRow, IndexedRowMatrix, MatrixEntry, RowMatrix} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark
java.lang.NumberFormatException: null的原因及解决方案
Stormseeker的博客
07-20 1万+
数值格式异常 1.异常的原因： 查找到了异常是出现在 Utils 类中的 paseInt() 方法中，在 String 类在转换成 Int 类时，存在转换失败或空值的隐患，源代码如下： public static int paseInt(String intStr) { int result = 0; try { result = Integer.parseInt(intStr); ...
Spark MLlib 机器学习之SVM支持向量机算法
Ym_Allen的博客
09-04 2008
简单介绍SVM支持向量机算法的基本原理，及实例代码。如若需要算法的详细推导，请查阅其它相关资料，本文仅做简单介绍。
spark-knn:Spark上的k最近邻算法
05-14
Spark-KNN 在制品... ...val training = MLUtils .loadLibSVMFile(sc, " data/mllib/sample_libsvm_data.txt " ).toDF() val knn = new KNNClassifier () .setTopTreeSize(training.count().toIn
Python库 | m16_mlutils-0.6.0-py3-none-any.whl
04-23
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：m16_mlutils-0.6.0-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | m16_mlutils-0.5.0-py3-none-any.whl
02-17
python库，解压后可用。 资源全名：m16_mlutils-0.5.0-py3-none-any.whl
ml_utils：来自graphlab和numpy的机器学习工具
02-20
安装 光盘./ml_utils <sudo> 机器学习实用程序 文件（API）
Spark MLlib学习（二）——分类和回归
myy1012010626的专栏
05-16 8652
MLlib支持多种分类方法，如二分类、多分类和回归分析等。 问题类型 支持的方法 二分类 线性SVM, 逻辑回归，决策树，随机森林，GBDT，朴素贝叶斯 多分类 决策树，随机森林，朴素贝叶斯 回归
基于MLlib的机器学习
yqtao的博客
03-13 5122
1. 简介\quadMLlib 是Spark 中提供机器学习函数的库。它是专为在集群上并行运行的情况而设计的。MLlib 中包含许多机器学习算法，可以在Spark 支持的所有编程语言中使用，由于Spark基于内存计算模型的优势，非常适合机器学习中出现的多次迭代，避免了操作磁盘和网络的性能损耗。Spark 官网展示的 MLlib 与Hadoop性能对比图就非常显著。所以Spark比Hadoop的Map
关于spark的mllib学习总结（Java版）
qq_30843221的博客
04-23 1万+
本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示： 加载数据对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper methods to load,save and pre-process data used in MLLib.博客中的数据是采用spark中提供的数据sample_libsvm_data.txt，其有一百个数据
Spark Mllib之集成算法：梯度提升树和随机森林
大雄没有叮当猫的博客
09-05 1797
微信公众号:数据挖掘与分析学习 集成算法是将其他基础模型进行组合的一中算法。spark.mllib支持两种主要的集成算法：GradientBoostedTrees和RandomForest。 两者都使用决策树作为基础模型。   1.梯度提升树和随机森林 Gradient-Boosted Trees（GBTs）和Random Forest都是用于学习树集成的算法，但训练过程是不同的。 有几个...
特征提取和转换
mllhxn的专栏
05-29 3104
TF-IDF TF-IDF(Term frequency-inverse document frequency ) 是文本挖掘中一种广泛使用的特征向量化方法。TF-IDF反映了语料中单词对文档的重要程度。假设单词用t表示，文档用d表示，语料用D表示，那么文档频度DF(t, D)是包含单词t的文档数。如果我们只是使用词频度量重要性，就会很容易过分强调重负次数多但携带信息少的单词，例如：”a
关于SparkMLlib的基础数据结构Spark-MLlib-Basics
热门推荐
canglingye的专栏
11-20 2万+
此部分主要降价写关于MLlib的集中基础的数据结构
Spark mllib SVM
易水寒
07-31 745
package com.immooc.spark import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.classification.SVMWithSGD import org.apache.spark.mllib.util.MLUtils import org.apache.spark.{SparkConf...
pyspark mllib 拆分y,x1 x2 x3形式的以data为后缀的数据集，拆分成训练集和测试集，并进行线性回归的训练
最新发布
05-24
假设你的数据集是以data为后缀的，比如traindata.csv和testdata.csv，其中traindata.csv包含y,x1,x2,x3的数据，testdata.csv只包含x1,x2,x3的数据。下面是使用pyspark mllib进行拆分和线性回归训练的代码： ```python from pyspark import SparkConf, SparkContext from pyspark.mllib.regression import LabeledPoint, LinearRegressionWithSGD from pyspark.mllib.util import MLUtils # 初始化Spark配置和SparkContext conf = SparkConf().setAppName("LinearRegression") sc = SparkContext(conf=conf) # 读取训练集和测试集 trainData = MLUtils.loadLibSVMFile(sc, "traindata.csv") testData = MLUtils.loadLibSVMFile(sc, "testdata.csv") # 把训练集和测试集分别拆分成y和x1,x2,x3 trainLabels = trainData.map(lambda lp: lp.label) trainFeatures = trainData.map(lambda lp: lp.features) testFeatures = testData.map(lambda lp: lp.features) # 把训练集分成训练集和验证集 (trainingData, validationData) = trainData.randomSplit([0.7, 0.3]) # 训练线性回归模型 model = LinearRegressionWithSGD.train(trainingData, iterations=100, step=0.1) # 使用验证集评估模型 valuesAndPreds = validationData.map(lambda p: (p.label, model.predict(p.features))) MSE = valuesAndPreds.map(lambda vp: (vp[0] - vp[1]) ** 2).reduce(lambda x, y: x + y) / valuesAndPreds.count() print("Mean Squared Error = " + str(MSE)) # 在测试集上预测 predictions = model.predict(testFeatures).collect() # 输出预测结果 print("Predictions: " + str(predictions)) # 停止SparkContext sc.stop() ``` 这段代码首先读取了训练集和测试集，然后把训练集和测试集分别拆分成y和x1,x2,x3。接着把训练集分成训练集和验证集，使用LinearRegressionWithSGD.train训练线性回归模型，使用验证集评估模型的性能。最后在测试集上预测，输出预测结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值