常用的spark数据读取和保存

最新推荐文章于 2024-03-06 11:18:16 发布
最新推荐文章于 2024-03-06 11:18:16 发布
阅读量836 收藏 2
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haohao914/article/details/78351114
版权
本文汇总了作者在实际工作中经常使用的Spark数据读取和保存的方法，涵盖了多种数据源的处理技巧。
摘要由CSDN通过智能技术生成

个人收录自己常用的集中数据保存和读取方式

数据保存和读取

1、从外部读取数据之textFile
读取
var departmentData = getLoadDepartment(sqlCon,"hdfs://cnsz17pl1443:8020/spark/ddt/ASRUA_TM_DEPARTMENT")

def getLoadDepartment(spark: SparkSession, path: String): DataFrame = {
import spark.implicits._
val departmentDF=spark.read.textFile(path).map(_.split("\u0001")).map(row =>departmentType(getString(row(0)), getString(row(1)), getString(row(2)), getString(row(3)))).persist(MEMORY_ONLY_SER)

val departmentData = departmentDF.toDF("dept_id","division_code","area_code","hq_code")
departmentData
}


保存
textFile.saveAsTextFile("file:///home/common/coding/coding/Scala/word-count/writeback")

2、hdfs的parquet类型文件读取和写入
读取  read().format（）来源（json，jsonRDD，parquet）
最低0.47元/天 解锁文章
闲人木东
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 数据保存与读取
不言尘世
05-21 451
Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件； 文件系统分为：本地文件系统、HDFS、HBASE以及数据库。 1 文件类数据读取与保存 1）数据读取:textFile(String) sc.textFile("hdfs://clusterldg:8020/user/sheng/spark/spart.txt").count() res38: Long = 5 scala>
Spark数据分析
superY_26的博客
01-17 3370
在互联网如此发达的今天，每天都有海量的数据产生。通过对这些的数据进行分析，我们可以挖掘出数据中的很多信息，从而获取商业价值。 面对如此海量的数据，一般的统计分析技术是无法胜任的，需要使用专门的大数据分析技术。今天我们介绍目前最为流行的数据处理技术—Apache Spark。Spark是一款支持多语言的，为大规模分布式数据处理而设计的一站式引擎，它整合了各种上层库，比如用于机器学习的MLlib、提供交互式查询功能的Spark SQL、支持操作实时数据的流处理库Structured Streaming，以及图计
Spark大数据处理与分析
最新发布
Xiaozou_Q的博客
03-06 1897
当子RDD的某一个分区的数据丢失时，若是窄依赖，只需重算和该分区对应的父RDD分区即可，而宽依赖则可能需要重算父RDD的所有分区。1.运行模式多样，可运行于独立的集群模式，Hadoop，Amazon EC2等云环境中，并且可以访问HDFS，Cassandra，HBase，HIve等多种数据源。宽依赖是指，父RDD的一个分区被子RDD的多个分区所用。现有容错机制：数据复制或者记录日志RDD具有天生的容错性：血缘关系，重新计算丢失分区，无需回滚系统，重算过程在不同节点之间并行，只记录粗粒度的操作。
Spark数据分析基础
简之的通向技术之路
08-12 1137
spark大数据分析基础 1、spark简介 1.1 Spark程序 （1）驱动器程序 从上层来看，每个Spark应用都由一个驱动器程序（driver program）来发起集群上的各种并行操作。驱动器程序包含应用的main函数，并且定义了集群上的分布式数据集，还对这些分布式数据集应用了相关操作。在spark-shell中，实际的驱动器程序就是Spark shell本身，你只需要输入想要运...
大数据之Spark:Spark 基础
weixin_43597208的博客
05-17 1702
目录1、Spark 发展史2、 Spark 为什么会流行 1、Spark 发展史 2009 年诞生于美国加州大学伯克利分校 AMP 实验室； 2014 年 2 月，Spark 成为 Apache 的顶级项目； Spark 成功构建起了一体化、多元化的大数据处理体系。在任何规模的数据计算中， Spark 在性能和扩展性上都更具优势； 在 FullStack 理想的指引下，Spark 中的 Spark SQL 、SparkStreaming 、MLLib 、GraphX 、R 五大子框架和库之间可以无缝地共享数
Spark SQL数据加载和保存实例讲解
09-09
总结，Spark SQL的数据加载和保存是其强大功能的关键组成部分，通过灵活的DataFrameReader和DataFrameWriter接口，用户可以方便地处理各种数据源，进行高效的数据分析和处理。了解并掌握这些操作，将有助于提升Spark...
spark读取hbase数据，并使用spark sql保存到mysql
09-24
在大数据处理领域，Spark 和 HBase 以及 MySQL 都扮演着重要的角色。Spark 提供了高效的数据处理能力，HBase 是一个分布式、面向列的NoSQL数据库，而 MySQL 是广泛使用的的关系型数据库。本示例将详细介绍如何使用 ...
【SparkCore篇07】RDD数据读取和保存1
08-04
总结来说，Spark的RDD数据读取和保存涉及到文件格式的选择、文件系统的适配以及具体操作API的运用。通过灵活地使用这些功能，我们可以有效地处理各种类型和来源的数据，实现大数据的高效处理和存储。理解并掌握这些...
spark读取数据并打印_Spark读取和保存数据
weixin_35216188的博客
02-04 2529
读写Parquet(DataFrame)Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录。Parquet是语言无关的，而且不与任何一种数据处理框...
Spark：实时数据微批处理（4.Spark sql及项目实战）
weixin_44824495的博客
05-18 1518
文章目录1.Spark SQL 概述1.1 什么是 Spark SQL?1.2 Spark SQL 的特点1.3 DataFrame介绍1.4 DataSet的介绍2.Spark SQL 编程2.1 SparkSession 介绍2.2 使用 DataFrame 进行编程2.2.1 通过 Spark 数据源创建DF2.2.2 通过 RDD 进行转换2.2.3 通过查询 Hive 表创建2.3 DataFrame 语法风格2.3.1 SQL 语法风格(主要)2.3.2 DSL 语法风格2.4 RDD 和 Da
大数据之spark详解
scfvlog的博客
10-30 1362
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本，结合了其优点而且spark是可以将数据保存在内存中。从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。平台上针对实时数据进行流式计算的组件，提供了丰富的处理。出现的时间相对较晚，并且主要功能主要是用于数据计算，平台上针对实时数据进行流式计算的组件，提供了丰富的。额外的功能，还提供了一些更底层的机器学习原语。语言开发的快速、通用、可扩展的。
大数据手册(Spark)--Spark流数据处理
WilenWu
01-13 5717
文章目录Spark Streaming Spark安装配置 Spark基本架构及运行流程 Spark基础知识(PySpark版) Spark机器学习(PySpark版) Spark流数据处理(PySpark版) Spark Streaming Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以...
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
ting_tu_ran_de的博客
06-09 482
执行命令：peopleDF.select("name", "age").write.format("parquet").save("hdfs://master:9000/datasource/output4") （注意：format("parquet")其实可以省掉的）导入SaveMode类，执行命令：peopledf.select("name").write.mode(SaveMode.Overwrite).format("json").save("hdfs://master:9000/result")
Spark大数据处理学习笔记 3.1
a1269936432的博客
06-12 261
将数据集（hello, world, scala, spark, love, spark, happy）存储在三个节点上，节点一存储（hello, world），节点二存储（scala, spark, love），节点三存储（spark, happy），这样对三个节点的数据可以并行计算，并且三个节点的数据共同组成了一个RDD。在编程时，可以把RDD看作是一个数据操作的基本单位，而不必关心数据的分布式特性，Spark会自动将RDD的数据分发到集群的各个节点。不同的是，数据的来源路径不同。
Hudi Spark源码学习总结-spark.read.format(“hudi“).load
主要分享大数据相关的知识，如Spark、Hudi
08-11 1053
由于工作原因，之前查询Hudi主要是用Hive来查询的，所以对Hive查询Hudi的逻辑比较了解，但是对于Spark查询Hudi的逻辑不太了解。所以现在想要学习一下Spark查询Hudi的大概逻辑，搞清楚它是如何从Spark的源码跳转到Hudi源码执行Hudi查询的逻辑， 这样既能搞清楚Spark查询表的逻辑，也能搞清楚Spark查询Hudi的逻辑，也便于再后面使用Kyuubi Spark SQL 时出现问题能更好的定位解决。...
spark.read.format().option 参数
热门推荐
yy的博客
11-22 1万+
通过idea查看option源码发现没找到 点击csv看源码发现会查找option里面的设置: 下面源码中有介绍: eg: sep 表示设置文本分隔符... def csv(csvDataset: Dataset[String]): DataFrame = { val parsedOptions: CSVOptions = new CSVOptions( ex...
Hudi Spark源码学习总结-spark.read.format(“hudi“).load（2）
主要分享大数据相关的知识，如Spark、Hudi
08-15 710
补充上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load，由于上篇文章篇幅已经比较长了，所以单独写一篇补充一下，没有读过的可以先阅读一下，我们在上篇文章讲到返回的是，那么如果返回呢?本文总结了使用和的原因以及使用时查询Hudi的逻辑，知道了在使用是通过buildScan实现查询的。我在文章学习时，了解到是通过调用buildScan方法来获取数据源的RDD,所以也想看一下的buildScan方法是否也会在查询时用到以及什么情况下会用到，现在还不确定它和。..
SparkSql——读文件写文件(一)
yyf960126的博客
05-13 3060
package spark.SparkSql import org.apache.spark.sql.SparkSession object SparkSql2 { def main(args: Array[String]): Unit = { //创建sqlSession val spark = SparkSession.builder().master("local[3...
SparkSQL读写数据
HYSliuliuliu的博客
12-21 7563
SparkSQL对数据的落地保存使用api为：spark.write.save()，需要指定数据的落地格式，因为和read的默认格式一样，save的默认格式也是parquet，需要在write和save之间指定具体的格式format(format).toDF("pid", "province", "code", "cid")//重新根据需要命名列名 数据类型全部是字符串。//csv 普通的文本文件，但是每一列之间是,作为分隔符。//加载数据 默认的加载文件的格式为parquet。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值