pyspark中where条件使用，单一匹配及多条件匹配

已于 2022-11-18 16:56:48 修改
阅读量6.3k 收藏 9
点赞数
分类专栏： pyspark 文章标签： pyspark
于 2021-04-17 22:04:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Airstudy/article/details/115802826
版权
本文介绍了在PySpark中如何使用where方法进行条件查询，包括单一等于操作`==`，多个条件匹配的`isin`方法，以及排除指定列表中条件的用法。通过这些方法，可以实现对数据集的精准筛选。
摘要由CSDN通过智能技术生成
  1. 单一的等于 ==
df_data = df_sql.where(column_1=='aaa')
  1. 多个匹配条件 isin
df_data = df_sql.where(column_1.isin('aaa', 'bbb'))
  1. 与第2个相反，条件为不在指定的list中

                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  leap_ruo
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
使用Python和OpenCV进行多尺度模板匹配

				
			

			

				

					qq_40985985的博客
				

				

					01-17
					
					5397
					
				

			

		

		

			
				
这篇博文将实现如何将标准模板匹配扩展到多尺度，从而使其更加健壮。使其可以处理模板和输入图像大小不同的匹配。

我们还发现，在模板图像是刚性和格式良好的情况下，使用边缘映射而不是RGB或灰度表示可以在应用模板匹配时产生更好的结果。

如果只考虑平移和缩放，多尺度模板匹配方法可以很好地工作；但是，这种方法在存在旋转和非仿射变换的情况下不那么鲁棒。对于旋转和非仿射变换的情况，最好应用关键点检测、局部不变描述符和关键点匹配。

			
		

	



                

              
                



	

		

			

				
					
pyspark 条件,pyspark加入多个条件

				
			

			

				

					weixin_35742852的博客
				

				

					12-23
					
					751
					
				

			

		

		

			
				
I want ask if you have any idea about how i can specify lot of conditions inpyspark when i use .join()Example :with hive :query= "select a.NUMCNT,b.NUMCNT as RNUMCNT ,a.POLE,b.POLE as RPOLE,a.ACTIVITE...

			
		

	



                


  
              

                


	

		

			

				
					
pyspark 查询数据filter、where；head展示数据全

				
			

			

				

					weixin_42357472的博客
				

				

					03-03
					
					2100
					
				

			

		

		

			
				
filter
import pyspark.sql.functions as F
data.filter(F.col("aid") == "32378").show()

where
data.where(F.col("aid").isNotNull())






			
		

	





	

		

			

				
					
PySpark的基本操作

					
最新发布

				
			

			

				

					chendengyi2的博客
				

				

					07-29
					
					417
					
				

			

		

		

			
				
在分组查询（GROUP BY）。groupBy()方法可以根据指定的字段进行分组，在groupBy()方法之后，通常使用统计方法进行计算，如：count()（总和，仅用于数值型字段），mean()、max()、min()、sum()等。从结果可以看出，苹果和荔枝的季度排名差分别为7和6，名列排名差的第一和第二位，它们是季节性最强的水果。**right/right_outer：**这种join就是把右边的表的所有行都取出来，如果左边表有匹配的行，就用匹配的行，如果左边表没有匹配的行，就用NULL代替。

			
		

	



		

			
		



	

		

			

				
					
pyspark 条件_pyspark多个列的条件并返回新列

				
			

			

				

					weixin_39911998的博客
				

				

					12-23
					
					338
					
				

			

		

		

			
				
I am using spark 2.1 and scripting is pyspark. Please help me with this as I am stuck up here .Problem statement: To create new columns based on conditions on multiple columnsInput dataframe is belowF...

			
		

	





	

		

			

				
					
pyspark 条件_如何在pyspark中使用多条件连接？

				
			

			

				

					weixin_35925259的博客
				

				

					12-23
					
					1139
					
				

			

		

		

			
				
我可以将dataframe join语句与single-on条件一起使用(在pyspark中)，但是，如果我尝试添加多个条件，则它将失败。代码：summary2 = summary.join(county_prop, ["category_id", "bucket"], how = "leftouter").以上代码有效。但是，如果我为list添加一些其他条件，比如summary.bucket==...

			
		

	





	

		

			

				
					
pyspark中"and"条件使用注意

				
			

			

				

					YouAreLion的博客
				

				

					04-29
					
					1630
					
				

			

		

		

			
				
def getLevel(ltv):
    return fn.when((lv >= 6.81) & (lv <= 10.00),'S')\
    .otherwise(
        fn.when((lv >= 6.08) & (lv < 6.81),'A')\
        .otherwise(
            fn.when((l...

			
		

	





	

		

			

				
					
pyspark 条件_删除pyspark中特定条件下的特定行

				
			

			

				

					weixin_39519741的博客
				

				

					01-13
					
					1822
					
				

			

		

		

			
				
我是火花的新手 . 我想删除一行使用spark sql.due来删除temptable中的不兼容性到目前为止我已经读过，操作删除像sql查询我需要永久保存pyspark中的表，这是hive表我猜 . 我也这样做了代码是spark.sql("select b.ENTITYID as ENTITYID, cm.BLDGID as BldgID,cm.LEASID as LeaseID,coalesce...

			
		

	





	

		

			

				
					
pandas 中dataframe 中的模糊匹配 与pyspark dataframe 中的模糊匹配

				
			

			

				

					apache150的博客
				

				

					07-24
					
					1万+
					
				

			

		

		

			
				
1.pandas  dataframe 

匹配一个很简单,批量匹配如下

df_obj[df_obj['title'].str.contains(r'.*?n.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次

pyspark dataframe 中模糊匹配有两种方式

2.spark  dataframe  api,  filter rlike 联合使用


df1=d...

			
		

	





	

		

			

				
					
SQL中使用JOIN时，过滤条件放在on和where中的区别

				
			

			

				

					大柳的博客
				

				

					02-15
					
					6133
					
				

			

		

		

			
				
对于不同的JOIN类型，过滤语句放在子查询、on或者where中，有时候结果以及效率差别很大的，记录一下正确用法。

			
		

	





	

		

			

				
					
pyspark sql使用总结

				
			

			

				

					weixin_44053979的博客
				

				

					04-14
					
					1611
					
				

			

		

		

			
				
pyspark sql使用总结将多列合并为一列去除重复项string转为date格式
将多列合并为一列
concat函数，将多列合并为一列。eg:
from pyspark.sql.functions import concat, col, lit
report = sqlContext.table(report_table_name)
report1 = report.select(
    f...

			
		

	





	

		

			

				
					
PySpark CheatSheet-其他操作

				
			

			

				

					zmqsdu9001的博客
				

				

					04-20
					
					310
					
				

			

		

		

			
				
1. PySpark DataFrame 按照条件过滤

使用where()或者filter()，不同条件先用括号括起来，然后连接的and用"&"， or用"|"， not用"~"。也可以把条件写在一个String里头，里面就用and、or，而且字段名称不用带引号。比如：


df=spark.createDataFrame([(101, 1, 16), (102, 2, 13)], ['...

			
		

	





	

		

			

				
					
pyspark学习(一)—pyspark的安装与基础语法

				
			

			

				

					qq_39158406的博客
				

				

					03-07
					
					3925
					
				

			

		

		

			
				
pyspark学习(一)

原创StarryChallengeHub公众号



一 Pysaprk的安装

最近想学pyspark，于是想起了要更这个系列，由于本人也是不是特别熟悉，如果有什么错误的地方希望大家多多见谅，要是指正的话那就更好了。条件简陋，只有一台笔记本，于是该系列应该全部都是在本地运行了。首先，pyspark的安装，单机版的Pyspark安装起来也十分简单。


1pipinstallpyspark


   如果出现错误可能是pip版本原因，可以输入以下...

			
		

	





	

		

			

				
					
PySpark简明教程 02 pyspark实战 入门例子

				
			

			

				

					Learning
				

				

					06-01
					
					2447
					
				

			

		

		

			
				
以一个处理结构化数据的入门程序，带大家进入pyspark的大门。本例子以深圳股市的股息率分析为例，讲解spark的输入、分析计算和输出。

			
		

	





	

		

			

				
					
pyspark写法总结

					
热门推荐

				
			

			

				

					zhuiqiuuuu的博客
				

				

					06-04
					
					1万+
					
				

			

		

		

			
				
往hive表中插入数据
法1：dataFrame数据写入hive表
def log2Hive():
log=hiveContext.createDataFrame([{"dt":dt,"types":types,"message":msg,"currtime":currTime}]).coalesce(1)#types: "INFO" ,"ERROR"
log.write.mode("ap

			
		

	





	

		

			

				
					
PySpark的选择_筛选_聚合_表连接

				
			

			

				

					刘小生Star
				

				

					07-29
					
					1万+
					
				

			

		

		

			
				
PySpark之选择特征select、筛选filter、聚合运算、group by、join table、inner join 、left join、right join、full outer join，如下所示：

from __future__ import print_function, division
from pyspark import SparkConf, SparkContext...

			
		

	





	

		

			

				
					
where条件中，索引字段使用函数

				
			

			

				

					05-12
				

			

		

		

			
				
在where条件中，索引字段使用函数通常会导致索引失效，从而导致查询变慢。因为函数会对索引字段进行计算，而不是直接使用索引中的值来进行匹配。这样就会使得数据库无法使用索引来加速查询，而需要进行全表扫描来获取匹配的数据，从而降低查询效率。

如果必须在where条件中使用函数，可以考虑将函数应用于查询条件的常量部分，而不是索引字段的部分。这样可以保证索引仍然有效，并且查询效率也能够得到保证。

另外，也可以考虑使用函数索引来优化查询效率。函数索引是一种特殊的索引，它是基于函数计算结果而建立的索引，可以加速包含函数的查询。但是使用函数索引也需要注意一些问题，比如函数的可重复性和正确性等。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值