Spark处理数据文件转LIBSVM格式解决方法

最新推荐文章于 2023-05-31 17:30:50 发布
最新推荐文章于 2023-05-31 17:30:50 发布
阅读量1.4k 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_bug/article/details/109170019
版权
本文介绍了如何使用Spark处理数据文件，特别是将非LIBSVM格式的数据文件转换为SparkMlLib所需的LIBSVM格式。通过下载FormatDataLibsvm.xls模板，导入数据文件，利用Excel进行格式转换，最终保存成符合要求的LIBSVM格式。
摘要由CSDN通过智能技术生成

SparkMlLib中处理的文件是LIBSVM格式，因此在处理前需要先转换数据文件的格式

1. 首先获得FormatDataLibsvm.xls文件, 文件链接地址为：

链接：https://pan.baidu.com/s/1Ctc52R447Kfisf6JaJ013w
提取码：auwe

2.取出数据文件，这里以wine.data为例

  1. 将wine.data转为.txt格式（我这里直接重命名文件的属性，不建议这样做，我是图省事）
  2. 打开FormatDataLibsvm.xls，将wine.txt拖进去，然后关闭wine.txt打开的excel文件。(这一步是为了将wine.txt转换格式，如果直接从FormatDataLibsvm.xls中打开是无法打开。之所以关闭是因为第三步要直接从FormatDataLibsvm.xls中历史记录中打开我们曾经打开过的wine.txt，用来进行格式的调换)
  3. 在FormatDataLibsvm.xls中右上角 文件->打开找到我们上一步打开的wine.txt,会出现下图
    在这里插入图片描述
    按照文本分隔符进行分割，数据文件就会在相对应的cell里出现，便于我们编辑
  4. 在上一步打
最低0.47元/天 解锁文章
TroubMen
关注
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
howard2005的专栏
05-15 1084
1. 学会使用默认数据源； 2. 学会手动指定数据源； 3. 理解数据写入模式； 4. 掌握分区自动推断
Spark MLlib数据结构—Vector和Matrix
最新发布
08-14 4745
对于多类分类，标签应该是从零开始的类索引：0、1、2，MLlib支持密集矩阵和稀疏矩阵，密集矩阵的全部值按列主顺序存储在单个double类型数组中，稀疏矩阵的非零条目值按列主顺序以压缩稀疏列（CSC）格式存储。MLlib支持存储在单台机器上的局部向量和矩阵，以及由一个或多个RDD支持的分布式矩阵。记住，MLlib中的本地矩阵是按列的主顺序存储的。是一个面向行的分布式矩阵，没有有意义的行索引，由 RDD 和它的行支持，其中每行都是一个局部向量。是一个没有有意义行索引的行式分布式矩阵，例如，特征向量的集合。
基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现
06-16
基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现，GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。
Spark读取MySQL(Oracle)数据保存为libsvm格式
weixin_44455388的博客
07-14 3398
libsvm数据格式: libsvm使用的训练数据和检验数据文件格式如下： [label] [index1]:[value1] [index2]:[value2] … [label] [index1]:[value1] [index2]:[value2] … label 目标值，就是说class（属于哪一类），就是你要分类的种类，通常是一些整数。 index 是有顺序的索引，通常是连续的整数。就是指特征编号，必须按照升序排列 value 就是特征值，用来train的数据，通常是一堆实数组成。 即
Spark使用Libsvm格式数据构造LabeledPoint格错误：requirement failed:Index 2287 out of bounds for vector of size 27
Thinkgamer博客
11-29 1530
背景 使用libsvm格式的数据构造LabeledPoint格式，例如我的libsvm格式数据如下(索引下标最大值为，3000)： 790718 1:1 2:1 4:1 5:1 6:1 7:1 9:1 11:1 13:1 16:1 19:1 21:1 28:1 31:1 43:1 64:1 65:1 140:1 164:1 184:1 296:1 463:1 481:1 642:1 813:1 1...
spark query hive and save as libsvm
rav009的专栏
11-07 964
以下示例代码使用 spark 查询 hive并把结果存储为 libsvm 格式： from pyspark import SparkConf,SparkContext from pyspark.sql import HiveContext hc = HiveContext(sc) df = hc.sql("select product_key,plu_id from test limi...
Spark MLlib（二）SVM
左手121
08-30 805
require 'redcarpet' markdown = Redcarpet.new("Hello World!") puts markdown.to_html
Spark SQL数据源-基本操作
new_renren的博客
05-31 949
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。除了使用select()方法查询外，也可以使用SparkSession对象的sql()方法执行SQL语句进行查询，该方法的返回结果仍然是一个DataFrame。
Libsvm数据格式互相转换
12-21
在使用libsvm的时候，数据格式是一个很大的问题，这个Excel利用宏的方式，将其属性值可以转换成直接libsvm可以用的方式；使用过程： 1.生成Label 1:value 2:value ….这种格式 将数组value1 value2在matlab里边选中复制后直接粘贴到该表格中（注意，label放到最后一列，一定要放到最后一列），然后选择视图中的宏选项，点击查看宏，选中FormatDataToLibsvm，然后点击执行，就可以生成libsvm可以用的格式； 2.如何将Label 1:value 2:value ….这种格式转换成value1 value2 label格式 在excel中选中数据，然后点击视图中的宏选项，在查看宏中选择第一个FormatDataFromLibsvm，点击执行后即可。
基于spark-ml,gbdt scala实现 libsvm训练集和普通训练集
qq_37267359的博客
06-17 677
spark-ml,gbdt scla实现 普通训练集 读取数据 val conf = new SparkConf().setAppName("gbdt_ms").setMaster("local[*]") val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate() //读取原始数据 val parsedRDD =spark.read.textFile("D:\\gbdt\\testSet.txt")
Spark的MLLib中，SVM官方示例所用的load方法源码解读
wangzfox的博客
05-17 3701
Spark中MLLib中SVM官方算法的load方法的阅读
python实现CSV特征文件转化为libsvm特征文件输入spark中进行机器学习
Together_CZ的博客
10-19 5472
    今天早早地下班，闲来无事就继续鼓捣spark了，spark计算能力很强之外还有一个很强大的功能就是机器学习，借助于spark平台的高性能以及高计算能力，机器学习算法也被广泛地开发出来，今天在实际使用spark中提供的机器学习算法的时候遇到一个问题就是：     当前spark读取的都是libsvm格式的数据，我对于libsvm的了解，仅仅停留在他是台大开发出来的独立运行的svm工具而已，...
基于的朴素贝叶斯的文本分类（附完整代码(spark/java）
但行好事，莫问前程
06-20 7320
本文主要包括以下内容： 1）模型训练数据生成（demo） 2 ) 模型训练（spark+java）,数据存储在hdfs上 3）预测数据生成（demo） 4）使用生成的模型进行文本分类。
sparkmllib数据类型
prometheus的博客
01-05 874
局部向量有三种方式创建局部向量import org.apache.spark.mllib.linalg.{Vector, Vectors}// Create a dense vector (1.0, 0.0, 3.0). val dv: Vector = Vectors.dense(1.0, 0.0, 3.0) // Create a sparse vector (1.0, 0.0, 3.0) by
sparkmllib算法实例
prometheus的博客
01-12 8114
逻辑回归import org.apache.spark.ml.classification.LogisticRegression// Load training data val training = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")val lr = new LogisticRegression
mllib实践（三）之LinearRegression实践（libsvm方式）（整合互联网上多个实例）
viviliving的专栏
10-22 834
package mllib; import org.apache.spark.{ SparkConf, SparkContext } import org.apache.spark.ml.linalg.Vectors import org.apache.spark.mllib.regression.{ LabeledPoint, LinearRegressionWithSGD } import ...
Spark--SVM（支持向量机）--记录
Enche的博客
01-26 1351
SVM支持向量机：是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。 支持向量机算法：训练集散落在空间中，寻找一个超平面将训练集进行分割成两方，且距离超平面最近的点到超平面的距离最短。 设超平面W.X+b=0 通过伸缩放大超平面 W.X+b=1，使最近的点到超平面的|W.X+b|=1 点到超平面的距离为|W.X+b|/||W||，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值