大数据——Spark RDD算子（十一）保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFile

最新推荐文章于 2024-09-14 22:07:12 发布
最新推荐文章于 2024-09-14 22:07:12 发布
阅读量5.5k 收藏 13
点赞数 2
文章标签： 大数据 hadoop spark scala hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsjia2970727/article/details/109629356
版权

Spark RDD算子（十一）保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFile

saveAsTextFile

def saveAsTextFile(path: String): Unit

def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit
  • saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中
  • codec参数可以指定压缩的类名

存储到文件系统中

package nj.zb.sparkstu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object saveAsTextFile {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsTextFile")
    val sc: SparkContext = new SparkContext(conf)
    val rdd1: RDD[Int] = sc.parallelize(1 to 10)
    //保存到HDFS
    rdd1.saveAsTextFile("hdfs://hadoop100:9000/usr/scala")
    //保存到本地
    rdd1.saveAsTextFile("file:///Scala2")
  }
}

注意：如果将文件保存到本地文件系统，那么只会保存在Executor所在机器的本地机器
结果展示：在这里插入图片描述

在这里插入图片描述

指定压缩格式保存

package nj.zb.sparkstu

import org.apache.hadoop.io.compress.GzipCodec
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object saveAsTextFile {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsTextFile")
    val sc: SparkContext = new SparkContext(conf)
    val rdd1: RDD[Int] = sc.parallelize(1 to 10)

结果展示：在这里插入图片描述

saveAsSequenceFile

  • saveAsSequenceFile用于将RDD以SequenceFile文件格式保存在HDFS上
  • 用法同saveAsTextFile

saveAsObjectFile

def saveAsObjectFile(path: String): Unit
  • saveAsObjectFile用于将RDD中的元素序列化成对象，存储到文件中
  • 对于HDFS，默认采用SequenceFile保存
package nj.zb.sparkstu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object saveAsObjectFile {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsObjectFileScala")
    val sc: SparkContext = new SparkContext(conf)
    val rdd1: RDD[Int] = sc.parallelize(1 to 10)
    //保存到HDFS
    rdd1.saveAsObjectFile("hdfs://hadoop100:9000/usr/scala3")
    //保存到本地文件夹
    rdd1.saveAsObjectFile("file:///scala3")
  }
}

结果展示：在这里插入图片描述

在这里插入图片描述

saveAsHadoopFile

def saveAsHadoopFile(path: String, keyClass: Class[], valueClass: Class[], outputFormatClass: Class[_ <: OutputFormat[, ]], codec: Class[_ <: CompressionCodec]): Unit

def saveAsHadoopFile(path: String, keyClass: Class[], valueClass: Class[], outputFormatClass: Class[_ <: OutputFormat[, ]], conf: JobConf = …, codec: Option[Class[_ <: CompressionCodec]] = None): Unit
  • saveAsHadoopFile是将RDD存储在HDFS上的文件中，支持老版本Hadoop API
  • 可以指定outputKeyClass、outputValueClass以及压缩格式
package nj.zb.sparkstu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object saveAsHadoopFile {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsHadoopFile")
    val sc: SparkContext = new SparkContext(conf)
    var rdd1 = sc.makeRDD(Array(("A",2),("A",1),("B",6),("B",3),("B",7)))
    import org.apache.hadoop.mapred.TextOutputFormat
    import org.apache.hadoop.io.Text
    import org.apache.hadoop.io.IntWritable
    rdd1.saveAsHadoopFile("hdfs://hadoop100:9000/usr/scala4",classOf[Text],classOf[IntWritable],classOf[TextOutputFormat[Text,IntWritable]])
  }
}

结果展示：

在这里插入图片描述

saveAsHadoopDataset

def saveAsHadoopDataset(conf: JobConf): Unit

  • saveAsHadoopDataset用于将RDD保存到除了HDFS的其他存储汇总，比如HBase

  • 在JobConf中，通常需要关注或者设置五个参数

     文件的保存路径
 key值的class类型
 value值的class类型
 RDD的输出格式（OutPutFormat）
 压缩相关的参数

将RDD保存到HDFS中

package nj.zb.sparkstu

import org.apache.hadoop.mapred.{JobConf, TextOutputFormat}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import org.apache.hadoop.mapred.TextOutputFormat
import org.apache.hadoop.io.Text
import org.apache.hadoop.io.IntWritable
import org.apache.hadoop.mapred.JobConf

object saveAsHadoopDataset {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsHadoopDataset")
    val sc: SparkContext = new SparkContext(conf)
    var rdd1: RDD[(String, Int)] = sc.makeRDD(Array(("A",2),("A",1),("B",6),("B",3),("B",7)))
    val jobconf: JobConf = new JobConf()
    jobconf.setOutputFormat(classOf[TextOutputFormat[Text,IntWritable]])
    jobconf.setOutputKeyClass(classOf[Text])
    jobconf.setOutputValueClass(classOf[IntWritable])
    jobconf.set("mapred.output.dir","hdfs://hadoop100:9000/usr/scala5")
    rdd1.saveAsHadoopDataset(jobconf)
  }
}

结果展示：在这里插入图片描述

保存数据到HBase

HBase建表

create ‘lxw1234′,{NAME => ‘f1′,VERSIONS => 1},{NAME => ‘f2′,VERSIONS => 1},{NAME => ‘f3′,VERSIONS => 1}

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import SparkContext._
import org.apache.hadoop.mapred.TextOutputFormat
import org.apache.hadoop.io.Text
import org.apache.hadoop.io.IntWritable
import org.apache.hadoop.mapred.JobConf
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapred.TableOutputFormat
import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.io.ImmutableBytesWritable

var conf = HBaseConfiguration.create()
    var jobConf = new JobConf(conf)
    jobConf.set("hbase.zookeeper.quorum","zkNode1,zkNode2,zkNode3")
    jobConf.set("zookeeper.znode.parent","/hbase")
    jobConf.set(TableOutputFormat.OUTPUT_TABLE,"lxw1234")
    jobConf.setOutputFormat(classOf[TableOutputFormat])

    var rdd1 = sc.makeRDD(Array(("A",2),("B",6),("C",7)))
    rdd1.map(x => 
      {
        var put = new Put(Bytes.toBytes(x._1))
        put.add(Bytes.toBytes("f1"), Bytes.toBytes("c1"), Bytes.toBytes(x._2))
        (new ImmutableBytesWritable,put)
      }
    ).saveAsHadoopDataset(jobConf)

##结果：
hbase(main):005:0> scan 'lxw1234'
ROW     COLUMN+CELL                                                                                                
 A       column=f1:c1, timestamp=1436504941187, value=\x00\x00\x00\x02                                              
 B       column=f1:c1, timestamp=1436504941187, value=\x00\x00\x00\x06                                              
 C       column=f1:c1, timestamp=1436504941187, value=\x00\x00\x00\x07                                              
3 row(s) in 0.0550 seconds

注意：保存到HBase，运行时需要在SPARK_CLASSPATH中加入HBase相关的jar包

saveAsNewAPIHadoopFile

def saveAsNewAPIHadoopFile[F <: OutputFormat[K, V]](path: String)(implicit fm: ClassTag[F]): Unit

def saveAsNewAPIHadoopFile(path: String, keyClass: Class[], valueClass: Class[], outputFormatClass: Class[_ <: OutputFormat[, ]], conf: Configuration = self.context.hadoopConfiguration): Unit
  • saveAsNewAPIHadoopFile用于将RDD数据保存到HDFS上，使用新版本Hadoop API
  • 用法基本同saveAsHadoopFile
package nj.zb.sparkstu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object saveAsNewAPIHadoopFile {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("saveAsNewAPIHadoopFile")
    val sc: SparkContext = new SparkContext(conf)
    val rdd1: RDD[(String, Int)] = sc.makeRDD(Array(("A",2),("A",1),("B",6),("B",3),("B",7)))

    import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat
    import org.apache.hadoop.io.Text
    import org.apache.hadoop.io.IntWritable

    rdd1.saveAsNewAPIHadoopFile("hdfs://hadoop100:9000/usr/scala6",classOf[Text],classOf[IntWritable],classOf[TextOutputFormat[Text,IntWritable]])
  }
}

结果展示：在这里插入图片描述

saveAsNewAPIHadoopDataset

def saveAsNewAPIHadoopDataset(conf: Configuration): Unit
  • 作用同savaAsHadoopDataset，只不过采用新版本Hadoop API

HBase建表

create ‘lxw1234′,{NAME => ‘f1′,VERSIONS => 1},{NAME => ‘f2′,VERSIONS => 1},{NAME => ‘f3′,VERSIONS => 1}

package com.lxw1234.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import SparkContext._
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.mapreduce.Job
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.client.Result
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.client.Put

object Test {
  def main(args : Array[String]) {
   val sparkConf = new SparkConf().setMaster("spark://lxw1234.com:7077").setAppName("lxw1234.com")
   val sc = new SparkContext(sparkConf);
   var rdd1 = sc.makeRDD(Array(("A",2),("B",6),("C",7)))

    sc.hadoopConfiguration.set("hbase.zookeeper.quorum ","zkNode1,zkNode2,zkNode3")
    sc.hadoopConfiguration.set("zookeeper.znode.parent","/hbase")
    sc.hadoopConfiguration.set(TableOutputFormat.OUTPUT_TABLE,"lxw1234")
    var job = new Job(sc.hadoopConfiguration)
    job.setOutputKeyClass(classOf[ImmutableBytesWritable])
    job.setOutputValueClass(classOf[Result])
    job.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])

    rdd1.map(
      x => {
        var put = new Put(Bytes.toBytes(x._1))
        put.add(Bytes.toBytes("f1"), Bytes.toBytes("c1"), Bytes.toBytes(x._2))
        (new ImmutableBytesWritable,put)
      }    
    ).saveAsNewAPIHadoopDataset(job.getConfiguration)

    sc.stop()   
  }
}

注意：保存到HBase，运行时需要在SPARK_CLASSPATH中加入HBase相关的jar包

蜂蜜柚子加苦茶
关注
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
Scala笔记（二）：Array转换成Map，saveAsTextFile保存为一个文件，短竖线分割，mkString方法，JSON数组与对象
小心小梦
08-05 5705
1.Array转换成Map 在公司里实习，经常讲究的是需求，实际上需求也是由诸多小模块拼接在一起完成的。上周遇到一个问题，就是需要把一个二维数组转化为一个对应的Map，举个栗子，我得到了一个数组：Array(Array(“a”,1),Array(“b”,2),Array(“c”,3)) 转化为Map(a-&gt;1,b-&gt;2,c-&gt;3) 使用Array的map方法和case cl...
Python---pyspark中的数据输出（collect，reduce，take，count，saveAsTextFile），了解PySpark代码在大数据集群上运行
weixin_43961909的博客
04-29 1814
将RDD的结果输出为Python对象的各类方法。将数据加载为RDD（数据输入）对RDD进行计算（数据计算）返回值等同于计算函数的返回值。
spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中
小哇
08-13 4090
saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受Pair..
spark中saveAsTextFile如何最终生成一个文件
静待花开
08-09 9764
在默认的textfile中，如果从hdfs中读取文件，源码中默认的分区数是2，如果想改变分区数，可以在textfile中设置第二个参数“分区数” 一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？  ...
spark下，关于saveAsTextFile的使用
04-27 430
spark2.0以后，不少人开始使用SparkSession来处理文件。如果需要保存文件需要将Dataset的值先转rdd，然后再保存。刚看到一个很久以前的帖子，说在Dataset下直接使用saveAsTextFile会报错。以前使用SparkContext保存文件很简单，
spark saveAsTextFile保存到文件
热门推荐
跟我一起去征服
05-03 4万+
spark的saveAsTextFile方法只能指定文件夹，但是保存到本地的话，会报空指针错误。 代码如下： public static void mySaveAsFile(){         SparkConf conf=new SparkConf()         .setAppName("mySaveAsFile")         .setMaster("local");
加米谷大数据——Spark核心技术原理透视Spark运行原理.docx
10-15
Spark是一种分布式计算框架，以其高效、易用和统一的数据处理能力在大数据领域备受推崇。Spark的核心技术原理包括了对数据的处理方式、运行流程和架构设计等多个方面。以下是对这些知识点的详细解释： 1. **Spark ...
大数据技术实践——Spark词频统计
08-23
【Spark技术实践——词频统计】在大数据领域，Spark作为一种高效的数据处理框架，以其快速、通用和可扩展性而受到广泛关注。本实践旨在基于已经搭建的Hadoop平台，利用Spark组件进行文本词频统计，以此深入理解Scala...
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。核心组件如下：SparkCore：包含Spark的基本功能；尤其是...
Spark saveAsTextFile
weixin_45216482的博客
03-16 1742
当我运行完一个Spark程序想把结果保存为saveAsTextFile， 结果使用hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。 原因： 运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。 如果想保存为一份的话，就要： 先collect 或者 data.coalesce(1,true).saveAsTextFile() You can also use repartiti..
spark RDD算子（十一）之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
Joie_TJ的博客
11-11 768
saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。
Spark 数据读取保存
hj1993的博客
02-04 1961
的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统： 类型的文件读都可以用 ，保存使用 2. 读取 json 文件 读 文件主要是需要解析其 格式，一般采用：，也可以使用 3. 读取 SequenceFile 文件 文件是 用来存储二进制形式的 对而设计的一种平面文件(Flat File) 运行结果： 4. 读取 ObjectFile 文件 对象文件是将对象序列化后保存的文件，采用 的序列化机制，可以通过 函数接收一个路径，读取对象文件，返回对应的 ，也可以通过调用 实现对对
Spark算子[18]：saveAsTextFile、saveAsObjectFile 源码实例详解
行走的树
12-19 7671
1、saveAsTextFile将此RDD保存为一个压缩文本文件，使用元素的字符串表示形式。第一个参数：Path为保存的路径； 第二个参数：codec为压缩编码格式；从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受PairRDD，所以在saveAsTextFile函数中利用rddToPairRDDFunct
Spark算子：RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
铭霏的记事本
07-22 8993
saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。 var rdd1 = sc.makeRDD(1 to 1
spark saveASTextFile
frogbar的博客
01-26 1万+
转自 https://www.cnblogs.com/devilmaycry812839668/p/6922738.html scala> val rd1 =sc.parallelize(Array(1 to 10000)) rd1: org.apache.spark.rdd.RDD[scala.collection.immutable.Range.Inclusive] = ParallelC
Flume：大规模日志收集与数据传输的利器
最新发布
Casual_Lei的博客
09-14 1158
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值