Spark SQL 数据加载和保存

最新推荐文章于 2023-07-14 09:49:46 发布
最新推荐文章于 2023-07-14 09:49:46 发布
阅读量854 收藏 2
点赞数
文章标签： spark sql big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52112640/article/details/125353363
版权
本文详细介绍了Spark SQL中数据的加载和保存，包括通用方式、Parquet、JSON以及MySQL的数据交互。通过format指定数据类型，option设置参数，如在JDBC中设置url等。还讲解了如何从JSON文件加载数据并创建临时表，以及从MySQL读写数据的操作。
摘要由CSDN通过智能技术生成

文章目录

一 、Spark 数据的加载和保存

（一）通用的加载和保存方式

  • SparkSQL 提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的
    API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式
    为 parquet

1、加载数据

  • spark.read.load 是加载数据的通用方法
    在这里插入图片描述
  • 如果读取不同格式的数据，可以对不同的数据格式进行设定
scala> spark.read.format("…")[.option("…")].load("…")
  • format(“…”)：指定加载的数据类型，包括"csv"、“jdbc”、“json”、“orc”、"parquet"和
    “textFile”。
  • load(“…”)：在"csv"、“jdbc”、“json”、“orc”、"parquet"和"textFile"格式下需要传入加载
    数据的路径。
  • option(“…”)：在"jdbc"格式下需要传入 JDBC 相应参数，url、user、password 和 dbtable
    我们前面都是使用 read API 先把文件加载到 DataFrame 然后再查询，其实，我们也可以直
    接在文件上进行查询: 文件格式.文件路径

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Chen Mon
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
spark-sql执行sql语句，往hive的分区分桶表中插入数据

				
			

			

				

					m0_46142780的博客
				

				

					02-19
					
					1111
					
				

			

		

		

			
				
spark-sql执行sql语句，往hive的分区分桶表中插入数据



			
		

	



                

              
                



	

		

			

				
					
spark sql操作数据

				
			

			

				

					Above the cloud
				

				

					02-07
					
					2051
					
				

			

		

		

			
				
1、创建Dataset
2、实现反射机制推断schema
3、编程方式定义Schema
4、spark操作mysql数据库
5、spark操作Hive数据
出现bug1
bug2

mysql
表的创建、插入等操作
hive
1、创建表
2、设置personRDD的Schema
3、创建Row对象，每一个Row对象都是rowRDD的一行
4、建立rowRDD与Schema对应关系，创建DataFrame
5、注册临时表
6、将数据插入Hive表
7、查询表数据



			
		

	



                


  
              

                


	

		

			

				
					
sparksql（一） insertinto 源码解析

				
			

			

				

					Interest1_wyt的博客
				

				

					09-03
					
					4112
					
				

			

		

		

			
				
sparksql insertinto 源码解析

			
		

	





	

		

			

				
					
Spark导入各种类型外部数据 Spark cooker 第三章：外部数据源

				
			

			

				

					码基的博客
				

				

					06-25
					
					1012
					
				

			

		

		

			
				
翻译
spark cookbook
简介
spark为大数据提供了一个统一的运行环境。Hadoop分布式文件系统HDFS作为Spark最常用的存储平台，使用普通硬件（廉价机）为非结构化数据或半结构化数据提供了低成本的存储。Spark并不局限于HDFS，可以用于任何Hadoop支持的存储。
Hadoop支持的存储是指可以使用Hadoop InputFormat和OutputFormat接口的存储格式...

			
		

	



		

			
		



	

		

			

				
					
使用spark导入sqlserver表数据（sqoop替代方案）

				
			

			

				

					月夜楓
				

				

					08-26
					
					1535
					
				

			

		

		

			
				
spark导入sqlserver表数据背景代码启动spark任务验证
背景
随着sqoop的停止更新，spark支持jdbc数据源，数据导入工具已经开始转移到了spark原生导入，本文基于该功能做些实践。
代码
java代码如下：
import lombok.extern.slf4j.Slf4j;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;

import java.io.File;
impo

			
		

	





	

		

			

				
					
Spark SQL数据加载和保存实例讲解

				
			

			

				

					09-09
				

			

		

		

			
				
本篇文章将深入探讨Spark SQL数据加载和保存的实例。  一、Spark SQL数据加载  数据加载主要是将外部数据源的数据转化为DataFrame，以便进行后续的分析和处理。DataFrameReader是Spark SQL用于读取数据的核心接口。...

			
		

	





	

		

			

				
					
Spark-SQL数据加载和保存实战.doc

				
			

			

				

					09-11
				

			

		

		

			
				
Spark-SQL数据加载和保存实战

			
		

	





	

		

			

				
					
spark读取hbase数据，并使用spark sql保存到mysql

				
			

			

				

					09-24
				

			

		

		

			
				
通过使用 DataFrame API 和 Spark SQL，可以方便地在不同的数据源之间进行数据迁移和处理。在实际应用中，根据具体需求，你可能还需要处理数据类型转换、错误处理等问题，以确保数据的一致性和完整性。

			
		

	





	

		

			

				
					
Spark SQL常见4种数据源详解

				
			

			

				

					09-09
				

			

		

		

			
				
Spark SQL是Apache Spark的一部分，它提供了一种统一的方式来处理结构化和半结构化的数据。在本文中，我们将深入探讨Spark SQL中的四种常见数据源：Parquet、JSON、CSV和JDBC，并了解如何使用它们进行数据读取和写入...

			
		

	





	

		

			

				
					
用spark导入数据到hbase

				
			

			

				

					weixin_30444105的博客
				

				

					05-23
					
					207
					
				

			

		

		

			
				
集群环境：一主三从，Spark为Spark On YARN模式
Spark导入hbase数据方式有多种
1.少量数据：直接调用hbase API的单条或者批量方法就可以
2.导入的数据量比较大，那就需要先生成hfile文件，在把hfile文件加载到hbase里面
下面主要介绍第二种方法：
该方法主要使用spark Java API的两个方法：
1.textFile：将本地文件...

			
		

	





	

		

			

				
					
Spark  SparkSQL的数据加载和落地

				
			

			

				

					猫君之上的博客
				

				

					04-30
					
					1093
					
				

			

		

		

			
				
1.数据的加载

使用read.load(path)

默认加载的是parquet格式的文件，如果需要加载其他类型的文件，需要通过format(类型)指定。当然，spark对一些主要格式的文件的加载都提供了更加简洁的API操作方式

加载json格式文件----要求文件的格式统一

spark.read.format("csv").load("file:///C:\\Users\\mycat\\D...

			
		

	





	

		

			

				
					
SparkSql读取数据和插入数据

					
热门推荐

				
			

			

				

					u012893747的博客
				

				

					12-11
					
					1万+
					
				

			

		

		

			
				
sparksql读取数据和写入数据

			
		

	





	

		

			

				
					
Spark SQL总结

				
			

			

				

					qq_43012693的博客
				

				

					03-10
					
					205
					
				

			

		

		

			
				
import spark.implicits._
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.types._




			
		

	





	

		

			

				
					
【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

					
最新发布

				
			

			

				

					qq_31412425的博客
				

				

					07-14
					
					1901
					
				

			

		

		

			
				
本需求将模拟从MySQL中向Hive数仓中导入数据，数据以时间分区。测试两种导入场景，一种是将数据全量导入，即包含所有时间分区；另一种是每天运行调度，仅导入当天时间分区中的用户数据。mysql表建表语句：hive注意字段时间戳，我们将从以上MySQL向Hive导入数据。编写datax的json脚本"job" : {执行导入操作在mysql中添加测试数据   导入mysql中7-11的数据到hive下7-11分区在hive下创建分区运行dataX脚本。

			
		

	





	

		

			

				
					
Spark Structured API基本使用

				
			

			

				

					mxk4869的博客
				

				

					07-14
					
					516
					
				

			

		

		

			
				
Spark Structured API基本使用

			
		

	





	

		

			

				
					
spark shell操作

				
			

			

				

					qq_42680202的博客
				

				

					11-29
					
					445
					
				

			

		

		

			
				
Spark Shell操作



Spark Shell操作

任务目标

1.了解Scala语言的基本语法

2.了解Spark shell数据处理的原理

3.了解Spark算子的使用

4.了解Spark shell和MapReduce对数据处理的不同点

相关知识

Spark shell是一个特别适合快速开发Spark程序的工具。即使你对Scala不熟悉，仍然可以使用这个工具快速应用S...

			
		

	





	

		

			

				
					
spark导入数据到hive成功但无法查看

				
			

			

				

					XueEaten的博客
				

				

					11-24
					
					1582
					
				

			

		

		

			
				
我遇到的问题是spark可以导入到hive里面，并且用select count(*) from tablename,describe extended tablename等语句都可以，就是不能查看具体数据，原因是spark导入的时候，将oracle的number类型转换成了decimal类型，进行一下字段类型转换就好了，代码详见：https://blog.csdn.net/XueEaten/art...

			
		

	





	

		

			

				
					
大数据面试总结《十六》--面试题规律总结

				
			

			

				

					weixin_41045909的博客
				

				

					03-28
					
					4378
					
				

			

		

		

			
				
关于Java的面试题：关于虚拟机的面试题：
1.hashmap底层?
2.Java进程中断怎么处理?
3.介绍下面向对象?
4.介绍下多态?
5.方法重载和重写?
6.这俩哪个属于多态?
7.说下多线程?
8.实现方式有哪些，区别?
9.同步锁  互斥，为什么常量不能做锁?
10.说下反射，都是做什么的?
11.反射机制怎么实现的?
12.linkedlist和arraylist的区别?
13.h...

			
		

	





	

		

			

				
					
spark-shell中的简单操作

				
			

			

				

					csdncjh的博客
				

				

					07-09
					
					1148
					
				

			

		

		

			
				
1.wordCount的几种写法

一般函数式写法：
sc.textFile("/user/chenjinghui/words").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((a,b)=>(a+b)).collect
简洁写法：
sc.textFile("/user/chenjinghui/words").flatMap(_.s

			
		

	





	

		

			

				
					
使用spark sql向mysql中插入数据

				
			

			

				

					05-24
				

			

		

		

			
				
可以使用Spark SQL中的JDBC数据源来向MySQL数据库中插入数据。以下是一个示例代码：

```scala
import org.apache.spark.sql.{SaveMode, SparkSession}

val spark = SparkSession.builder()
  .appName("Insert to MySQL with Spark SQL")
  .master("local[*]")
  .getOrCreate()

// 定义MySQL连接信息
val jdbcHostname = "localhost"
val jdbcPort = 3306
val jdbcDatabase = "test_db"
val jdbcUsername = "root"
val jdbcPassword = "password"
val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}?user=${jdbcUsername}&password=${jdbcPassword}"

// 创建数据集
val data = Seq(
  (1, "Alice", 25),
  (2, "Bob", 30),
  (3, "Charlie", 35)
)
val df = spark.createDataFrame(data).toDF("id", "name", "age")

// 将数据集插入到MySQL中
df.write
  .mode(SaveMode.Append)
  .format("jdbc")
  .option("url", jdbcUrl)
  .option("dbtable", "people")
  .option("driver", "com.mysql.jdbc.Driver")
  .save()

// 关闭SparkSession
spark.stop()
```

在上面的代码中，我们首先定义了MySQL数据库的连接信息。然后，我们创建了一个包含数据的数据集，并使用`write`方法将其保存到MySQL中。其中，`mode`指定了写入模式（这里使用了追加模式），`format`指定了数据源格式（这里使用了JDBC数据源），`option`方法用于指定其他的连接参数，例如数据库表名和JDBC驱动程序。

在运行代码之前，需要将MySQL JDBC驱动程序添加到Spark的classpath中。可以通过将驱动程序复制到Spark的`jars`目录中来实现。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值