RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

最新推荐文章于 2022-12-29 09:23:17 发布
最新推荐文章于 2022-12-29 09:23:17 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： spark

saveAsTextFile

def saveAsTextFile(path: String): Unit

def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。

codec参数可以指定压缩的类名。

 
 
  1. var rdd1 = sc.makeRDD(1 to 10,2)
  2. scala> rdd1.saveAsTextFile("hdfs://cdh5/tmp/lxw1234.com/") //保存到HDFS
  3. hadoop fs -ls /tmp/lxw1234.com
  4. Found 2 items
  5. -rw-r--r--   2 lxw1234 supergroup        0 2015-07-10 09:15 /tmp/lxw1234.com/_SUCCESS
  6. -rw-r--r--   2 lxw1234 supergroup        21 2015-07-10 09:15 /tmp/lxw1234.com/part-00000
  7.  
  8. hadoop fs -cat /tmp/lxw1234.com/part-00000
  9. 1
  10. 2
  11. 3
  12. 4
  13. 5
  14. 6
  15. 7
  16. 8
  17. 9
  18. 10
  19.  

注意：如果使用rdd1.saveAsTextFile(“file:///tmp/lxw1234.com”)将文件保存到本地文件系统，那么只会保存在Executor所在机器的本地目录。

//指定压缩格式保存

 
 
  1. rdd1.saveAsTextFile("hdfs://cdh5/tmp/lxw1234.com/",classOf[com.hadoop.compression.lzo.LzopCodec])
  2.  
  3. hadoop fs -ls /tmp/lxw1234.com
  4. -rw-r--r--   2 lxw1234 supergroup    0 2015-07-10 09:20 /tmp/lxw1234.com/_SUCCESS
  5. -rw-r--r--   2 lxw1234 supergroup    71 2015-07-10 09:20 /tmp/lxw1234.com/part-00000.lzo
  6.  
  7. hadoop fs -text /tmp/lxw1234.com/part-00000.lzo
  8. 1
  9. 2
  10. 3
  11. 4
  12. 5
  13. 6
  14. 7
  15. 8
  16. 9
  17. 10
  18.  
  19.  

saveAsSequenceFile

saveAsSequenceFile用于将RDD以SequenceFile的文件格式保存到HDFS上。

用法同saveAsTextFile。

saveAsObjectFile

def saveAsObjectFile(path: String): Unit

saveAsObjectFile用于将RDD中的元素序列化成对象，存储到文件中。

对于HDFS，默认采用SequenceFile保存。

 
 
  1. var rdd1 = sc.makeRDD(1 to 10,2)
  2. rdd1.saveAsObjectFile("hdfs://cdh5/tmp/lxw1234.com/")
  3.  
  4. hadoop fs -cat /tmp/lxw1234.com/part-00000
  5. SEQ !org.apache.hadoop.io.NullWritable"org.apache.hadoop.io.BytesWritableT
  6.  
  7.  
spark RDD算子（十一）之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile等
qianchun22的博客
11-11 593
章节目录一、saveAsTextFile二、saveAsSequenceFile三、saveAsObjectFile四、saveAsHadoopFile五、saveAsHdoopDataset六、saveAsNewAPIHadoopFile七、saveAsNewAPIHadoopDataset 一、saveAsTextFile 函数定义 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_
Spark总结（三）——RDD的Action操作
Dolphin_Zhao的专栏
07-27 3043
1、foreach操作：对RDD中的每个元素执行f函数操作，返回Unit。def funOps1(): Unit = { var rdd1 = sc.parallelize(List(1, 2, 3, 5, 6)) rdd1.foreach(println _) }源码： 2、saveAsTextFile操作：将数据输出到hdfs上，将RDD中的每个元素映射转变为（Null, e.toSt
spark的rdd.saveastextfile可以追加写入hdfs吗
热门推荐
u013013024的博客
06-12 1万+
是不能的，现在我来说一下原因，首先spark的任务是并行的，如果你的所有的j任务都往一个文件中追加，那么这些任务都必须去获得会后一行的位置，但是最后一行的位置是只能有一个任务获得的，所以其他任务不可能同时获得最后一行的位置，这个机制就决定了，多个任务追加写入同一个文件。如果你把所有数据都聚合到一个节点上，是可以追加到同一个文件，这个场景用的极少。
spark RDD算子（十一）之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
Joie_TJ的博客
11-11 784
saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。
RDD 中action的saveAsTextFile和saveAsObjectFile详解 -- （视频笔记）
weixin_30657999的博客
12-29 172
saveAsTextFile将RDD中的每个元素变为(null,element.toString)每个分区都会存储成一个block，基本都是一一映射。 sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).save...
Spark中如何使saveAsTextFile只生成一个文件
zengxingyuluo的博客
11-25 2178
一般来说，saveAsTextFile是根据执行task的数量生成相应个数的结果文件，例如part-00000一直到part-0000n，n是task的个数，也是最后stage的分区数。 要使最后的结果只生成一个文件，可以调用coalesce(1,true)或reparation(1)。 repartition(numPartitions:Int):RDD[T...
rdd.saveAsTextFile(“output“) 将处理的数据保存成分区文件
weixin_44342318的博客
04-18 433
rdd.saveAsTextFile(“output”) 将处理的数据保存成分区文件 package study.spark.core.rdd.builder import org.apache.spark.{SparkConf, SparkContext} object Spark01_RDD_Memory_Par1 { def main(args: Array[String]): Unit = { // TODO 准备环境 val sparkConf =
Spark核心编程(RDD行动算子)-action
Sarahdsy的博客
06-07 515
文章目录RDD行动算子reducecollectcountcountByValuefirsttaketakeOrderedaggregatefoldcountByKeysava相关算子foreach RDD行动算子 所谓的行动算子，其实不会再产生新的RDD，而是触发作业的执行。行动算子执行后，会获取到作业的执行结果。 转换算子不会触发作业的执行，只是功能的扩展和包装。 Spark的行动算子执行时，会产生Job对象，然后提交这个Job对象。 reduce 函数签名： def reduce(f: (T,
SparkRDD——行动算子
tyh1579152915的博客
06-10 3587
一、行动算子定义 spark的算子可以分为trans action算子 以及 action算子 ，即变换/转换 算子。如果执行一个RDD算子并不触发作业的提交，仅仅只是记录作业中间处理过程，那么这就是trans action算子 ，相反如果执行这个 RDD 时会触发 Spark Context 提交 Job 作业，那么它就是 action算子及行动算子。 总结来说就是在Spark中，转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度并开始进
Spark之RDD动作算子（Action）大全
zp17834994071的博客
08-07 5273
前面已经给大家讲过RDD原理以及常用的转换算子，今天就再给大家说说RDD的动作算子有哪些，以便大家更能全面的理解和掌握。 对于动作算子来说，本质上动作算子是通过SparkContext执行提交作业操作，触发RDD DAG（有向无环图）的执行；所有的动作算子都是急迫型（non-lazy），RDD遇到Action就会立即计算。 常用动作算子 count 返回数据集中的元素的个数 案例： val rdd=sc.parallelize(List(1,2,3,4,5,6)) rdd.count //6 coll
spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中
小哇
08-13 4133
saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受Pair..
Spark行动算子(Action)--saveAsTextFile算子/saveAsObjectFile算子
寒暄的博客
08-04 655
语法 Rdd. saveAsTextFile(path) Rdd.saveAsObjectFile(path) path是存储路径 源码 def saveAsTextFile(path : scala.Predef.String) : scala.Unit = { /* compiled code */ } def saveAsObjectFile(path : scala.Predef.String) : scala.Unit = { /* compiled code */ } 作用 saveAsTex
spark覆写原文件夹文件报错FileAlreadyExistsException
最新发布
weixin_42601547的博客
12-29 397
如果在 Spark 中使用 saveAsTextFile() 方法将 RDD 保存到本地文件系统或 Hadoop 分布式文件系统 (HDFS) 时，如果文件已经存在，则会抛出 FileAlreadyExistsException 异常。 为了解决这个问题，您可以使用 overwrite 参数来强制 Spark 覆盖现有文件。例如： rdd.saveAsTextFile("/path/to/outp...
Spark学习笔记(13)——RDD文件读取与保存
m0_56602092的博客
08-06 1208
Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：text 文件、csv 文件、sequence 文件以及 Object 文件； 文件系统分为：本地文件系统、HDFS、HBASE 以及数据库。 一、text文件 从指定路径读取txt文件 val inputRDD: RDD[String] = sc.textFile("input/1.txt") 保存数据为text文件到指定路径 inputRDD.saveAsTextFile("output") 二、seque
Spark：使用saveAsFile写入带有标题的CSV文件
03-31 761
在我的上一篇博客文章中，我展示了如何使用Spark和Hadoop写入单个CSV文件 ，接下来我想做的就是在结果行中添加标题行。 Hadoop的FileUtil＃copyMerge函数确实采用了String参数，但它将此文本添加到每个分区文件的末尾，这并不是我们想要的。 但是，如果我们将该函数复制到我们自己的FileUtil类中，则可以对其进行重组以执行我们想要的操作： import...
RDD文件读取与保存
yingzi的技术博客
03-08 1428
​ Spark的数据读取以及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式为：text文件、csv文件、sequence文件以及Object文件； 文件系统为：本地文件系统、HDFS、HBASE以及数据库 text文件 读文件：textFile 存文件：saveAsTextFile sequence文件 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件（Flat File） 存文件：saveAsSequenceFile(“output
Spark Streaming 的saveAsTextFiles遇到的坑
weixin_34319374的博客
01-10 1086
使用sparkStreaming消费数据，并使用Dstream的saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题， 代码例子如下： resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))...
saveAsHadoopDataset和saveAsNewAPIHadoopDataset源码分析及用法说明
邢为栋
09-17 1246
在研究Spark Streaming保存数据到HBase的时候，其中一种方案用到了Spark的两个算子，分别是saveAsHadoopDataset和saveAsNewAPIHadoopDataset，它们可以将RDD输出到Hadoop支持的存储系统中。 本文对这两个算子进行一些源码分析，并以HBase为目标存储系统描述算子的使用方法。 Spark版本：2.11-2.4.0-cdh6.3.2。 HBase版本：2.1.0-cdh6.3.2。 Hadoop版本：3.0.0-cdh6.3.2。 前置知识 在分析
Spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中
学亮编程手记
07-22 2232
saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受PairRDD，所
Scala RDD操作实践：Transformation与Action详解
`valrdd5.flatMap(_.flatMap(_.split(""))).collect`展示了如何使用`flatMap`将字符串分割成字符。`union`操作用于合并多个RDD，但在这部分没有具体实例。 6. **Pair Operations**： 对于键值对的数据处理，`sc....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值