Spark(33) -- Spark SQL补充 -- 连接

最新推荐文章于 2022-12-09 11:03:48 发布
最新推荐文章于 2022-12-09 11:03:48 发布
阅读量160 收藏
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108948721
版权
本文详细介绍了Spark SQL中的连接操作，包括无类型连接算子join的API使用，连接类型的选择，以及广播连接的原理和优化。通过具体案例展示了如何进行表连接，并解释了Map端Join的实现和自动触发条件，强调了broadcast函数在优化连接操作中的作用。
摘要由CSDN通过智能技术生成

1. 无类型连接算子 join 的 API

Step 1: 什么是连接
 按照 PostgreSQL 的文档中所说, 只要能在一个查询中, 同一时间并发的访问多条数据, 就叫做连接.
做到这件事有两种方式

 一种是把两张表在逻辑上连接起来, 一条语句中同时访问两张表

select * from user join address on user.address_id = address.id

 还有一种方式就是表连接自己, 一条语句也能访问自己中的多条数据


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  erainm
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
SparkSQL允许左联接的数据量大于左表数据量？

				
			

			

				

					Java/Python大数据成长之路
				

				

					04-18
					
					781
					
				

			

		

		

			
				
本次问题可以概括为：由一个join改为left join而引发的数据倾斜问题，并且一开始还当成了OOM处理。看似一个不起眼的举动，往往会产生意想不到的结果。这就是蝴蝶效应由于原来是join时SQL没有出现过数据倾斜问题，而这恰好让我们忽略了空值Key的问题。因此，我们应该时刻关注细节，细节决定成败！通过本次问题，现总结以下两点：

			
		

	



                

              
                



	

		

			

				
					
sparkSQL文档

				
			

			

				

					04-28
				

			

		

		

			
				
本文详细的描述了sparksql的一些应用，带你快速的了解

			
		

	



                


  
              

                


	

		

			

				
					
Spark SQL中Join连接概念以及示例代码

				
			

			

				

					gym02的博客
				

				

					04-18
					
					650
					
				

			

		

		

			
				
Join连接
类型
内连接：A表和B表符合条件的数据进行连接
左外连接：A表的所有数据和B表符合条件的数据进行连接
右外连接：B表的所有数据和A表符合条件的数据进行连接
全外连接：A表和B符合条件数据连接，并显示两张表未连接的数据
笛卡尔连接（交叉连接）：A表的每一条数据和B表每一条数据进行连接
左半开连接（left semi join）:等价于数据库中in，枚举查询
左反连接（left anti...

			
		

	





	

		

			

				
					
对于spark sql中三种join方式的通俗总结

				
			

			

				

					rms1800201760的博客
				

				

					06-05
					
					2159
					
				

			

		

		

			
				
浅析spark中的三种join方式：
1、broadcast join：
适用于小表与大表的join，其中小表小于10M，本质上是去用空间换时间，
也就是将小表发送到每个大表对应的节点上，然后依次去遍历大表中的每个关联键去和对应小表中的关联键去匹配，找到相等的进行关联，并不会走shuffle过程，因此最终的文件数取决于block的个数，每个bolck是一个逻辑上的概念，
生成的规则是在建表并落HD...

			
		

	



		

			
		



	

		

			

				
					
Spark SQL JOIN

				
			

			

				

					mxk4869的博客
				

				

					07-18
					
					167
					
				

			

		

		

			
				
Spark SQL JOIN

			
		

	





	

		

			

				
					
spark-sql_2.11-2.4.0-cdh6.1.1.jar

				
			

			

				

					05-14
				

			

		

		

			
				
spark-sql_2.11-2.4.0-cdh6.1.1.jar

			
		

	





	

		

			

				
					
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址

				
			

			

				

					05-22
				

			

		

		

			
				
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...

			
		

	





	

		

			

				
					
spark-2.4.7-bin-hadoop2.6.tgz

				
			

			

				

					03-17
				

			

		

		

			
				
4. **Spark SQL**：Spark SQL是Spark的一个模块，用于处理结构化数据，它集成了SQL查询与DataFrame API，提供了一种统一的方式来处理结构化和半结构化数据。  5. **Spark Streaming**：Spark Streaming提供了微...

			
		

	





	

		

			

				
					
spark--bin-hadoop3-without-hive.tgz

				
			

			

				

					09-17
				

			

		

		

			
				
此外，Spark还包含了多个模块，如Spark SQL用于结构化数据处理，Spark Streaming用于实时流处理，MLlib用于机器学习，GraphX用于图计算。  Hive on Spark是Hive的一种执行引擎选项，它允许用户利用Spark的计算能力来...

			
		

	





	

		

			

				
					
spark-tpc-ds-performance-test：使用TPC-DS基准测试Spark SQL性能

				
			

			

				

					02-03
				

			

		

		

			
				
《Spark SQL性能优化：基于TPC-DS基准测试的深度解析》  Apache Spark作为一个强大的分布式计算框架，尤其在大数据处理领域表现出色。其中，Spark SQL是Spark的核心组件，专为处理结构化数据而设计，提供了SQL接口，...

			
		

	





	

		

			

				
					
Spark-SQL连接Hive 的五种方法

				
			

			

				

					qq_53114527的博客
				

				

					12-09
					
					4840
					
				

			

		

		

			
				
Spark-SQL连接Hive 的五种方法

			
		

	





	

		

			

				
					
spark sql 之join等函数用法

					
热门推荐

				
			

			

				

					zhousishuo
				

				

					06-15
					
					3万+
					
				

			

		

		

			
				
spark sql   join   cast   row_number()

			
		

	





	

		

			

				
					
SparkSql 中外连接查询中的谓词下推规则

				
			

			

				

					大数据星球-浪尖
				

				

					01-04
					
					3118
					
				

			

		

		

			
				
SparkSqlSparkSql是架构在spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL可以直接使用scala语言完成sql查询，同时也使用thrift server提供服务化的Sql查询功能。SparkSql提供了Data Source API，用户通过这套API可以自己开发一套Connector，直接查

			
		

	





	

		

			

				
					
Spark 系列（十二）—— Spark SQL JOIN 操作

				
			

			

				

					weixin_30651273的博客
				

				

					08-14
					
					216
					
				

			

		

		

			
				
一、 数据准备
本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创建员工和部门的 Datafame，并注册为临时视图，代码如下：
val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate()

val empDF = spark.read.j...

			
		

	





	

		

			

				
					
Spark（三）-- SparkSQL扩展（数据操作） -- 连接(五)

				
			

			

				

					happy-vicky的博客
				

				

					10-21
					
					933
					
				

			

		

		

			
				
目录

11.连接

11.1 无类型连接算子join的API

11.2 连接类型

11.2.1 交叉连接 - cross交叉

11.2.2 内连接 - inner

11.2.3 全外连接

11.2.4 左外连接

11.2.5 LeftAnti - 只包含左边集合中没连接上的数据

11.2.6 LeftSemi - 只包含左侧集合中连接上的数据

11.2.7 右外连接

11...

			
		

	





	

		

			

				
					
sparksql支持传参数的封装

				
			

			

				

					
				

				

					09-23
					
					9144
					
				

			

		

		

			
				
sparkF里面：
#!/etc/profile
sql='java -jar /opt/cloudy/spark/sparkF.jar $*'
echo $sql
spark-sql -e "$sql" -i /opt/cloudy/bin/hive-init.sql
==
从上面可以得知，udf还是hive的udf，只不过命令改成了spark。
上一篇中已经给出了aa.sql


			
		

	





	

		

			

				
					
SparkSQL – Join 的三种方式

				
			

			

				

					拉丁解牛技术专栏
				

				

					10-13
					
					2万+
					
				

			

		

		

			
				
转载自：http://hbasefly.com/2017/03/19/sparksql-basic-join/

Join常见分类以及基本实现机制

       当前SparkSQL支持三种Join算法－shuffle hash join、broadcast hash join以及sort merge join。其中前两者归根到底都属于hash join，只不过在hash join之前需要先sh...

			
		

	





	

		

			

				
					
spark-----spark sql

					
最新发布

				
			

			

				

					06-28
				

			

		

		

			
				
而Spark SQL是Spark中的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。Spark SQL可以将结构化数据存储在分布式的列式存储系统中，并提供了高效的查询引擎，可以在大规模数据集上进行快速的查询和分析...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
erainm

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值