30. Spark SQL case when用法：

已于 2022-04-24 10:17:18 修改
阅读量1w 收藏 2
点赞数
文章标签： Spark
于 2019-11-11 09:45:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq0719/article/details/103005385
版权

30.

Spark SQL case when用法：

https://sparkbyexamples.com/spark-case-when-otherwise-example/

how to write case with when condition in spark sql using scala - Stack Overflow

scala - SPARK SQL: Implement AND condition inside a CASE statement - Stack Overflow

上述几个帖子已经写得很详细了，我就不再赘述，只放出链接。

Spark Sql 使用Case when，存在多个when条件的代码示例：

SPARK SQL - case when then - Stack Overflow

伪代码：

select
                             CASE WHEN company_base = 'ah' THEN '安徽' 
                                   ELSE
                                       CASE WHEN company_base = 'bj' THEN '北京'
                                   ELSE    
                                       CASE WHEN company_base = 'cq' THEN '重庆'
                                   ELSE    
                                       CASE WHEN company_base = 'fj' THEN '福建'
                                   ELSE    
                                       CASE WHEN company_base = 'gd' THEN '广东'
                                   ELSE    
                                       CASE WHEN company_base = 'gx' THEN '广西'
                                   ELSE    
                                       CASE WHEN company_base = 'gs' THEN '甘肃'                                       
                                   ELSE    
                                       CASE WHEN company_base = 'gz' THEN '贵州'
                                   ELSE    
                                       CASE WHEN company_base = 'han' THEN '海南'
                                   ELSE    
                                       CASE WHEN company_base = 'heb' THEN '河北'
                                   ELSE    
                                       CASE WHEN company_base = 'hen' THEN '河南'
                                   ELSE    
                                       CASE WHEN company_base = 'hlj' THEN '黑龙江'
                                   ELSE    
                                       CASE WHEN company_base = 'hub' THEN '湖北'
                                   ELSE    
                                       CASE WHEN company_base = 'hun' THEN '湖南'
                                   ELSE    
                                       CASE WHEN company_base = 'jl' THEN '吉林'
                                   ELSE    
                                       CASE WHEN company_base = 'js' THEN '江苏'
                                   ELSE    
                                       CASE WHEN company_base = 'jx' THEN '江西'
                                   ELSE    
                                       CASE WHEN company_base = 'ln' THEN '辽宁'
                                   ELSE    
                                       CASE WHEN company_base = 'nmg' THEN '内蒙古'
                                   ELSE    
                                       CASE WHEN company_base = 'nx' THEN '宁夏'                                                                                
                                   ELSE    
                                       CASE WHEN company_base = 'sc' THEN '四川'
                                   ELSE
                                       CASE WHEN company_base = 'sd' THEN '山东'
                                   ELSE    
                                       CASE WHEN company_base = 'sh' THEN '上海'
                                   ELSE    
                                       CASE WHEN company_base = 'snx' THEN '陕西'
                                   ELSE
                                       CASE WHEN company_base = 'sx' THEN '山西'
                                   ELSE
                                       CASE WHEN company_base = 'tj' THEN '天津'
                                   ELSE
                                       CASE WHEN company_base = 'xj' THEN '新疆'
                                   ELSE
                                       CASE WHEN company_base = 'xz' THEN '西藏'
                                   ELSE
                                       CASE WHEN company_base = 'yn' THEN '云南'
                                   ELSE
                                       CASE WHEN company_base = 'zj' THEN '浙江'
                                   ELSE
                                       CASE WHEN company_base = 'qh' THEN '青海'   
                                   ELSE
                                       CASE WHEN company_base = 'tw' THEN '台湾'
                                   ELSE '未知' 
                                   END END END END END END END END END END END END END 
                                   END END END END END END END END END END END END END
                                   END END END END END END
     AS  company_base
from company
group by company_name

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

pyspark及Spark报错问题汇总及某些函数用法。_元元的李树的博客-CSDN博客

元元的李树
关注
Spark ：AnalysisException: Required attribute 'value' not found;
九师兄
09-20 2190
1.背景 spark 2.4 写入到kafka报错，代码如下。 @Test def kafkaToKafkaTest1(): Unit ={ val host = "localhost" val port = "9997" logInfo(String.format("监听主机：%s,端口：%s", host, port)) val spark = S...
Apache Spark SQL
qq_37108736的博客
03-29 380
Apache Spark SQL Spark SQL是⽤于结构化数据处理的⼀个模块。同Spark RDD 不同地⽅在于Spark SQL的API可以给Spark计算引擎提供更多地 信息，例如:数据结构、计算算⼦等。在内部Spark可以通过这些信息有针对对任务做优化和调整。这⾥有⼏种⽅式和Spark SQL进⾏交互，例如Dataset API和SQL等，这两种API可以混合使⽤。Spark SQL的...
Spark CASE WHEN 写法案例
程序大视界
01-20 2900
一、前言 用过大数据的同事都熟悉hive和Spark，两者的语法是一样的，但是Spark的速度要比Hive快得多。今天才写一个Spark的大数据报表的时候，遇到一个group by结合Case When的语法问题，现将问题的详细经过记录下来，希望可以对有遇到这个问题伙伴一些帮助。 二、问题 运行报错详细如下截图： 很明显是case when的语句中错误导致，反复检查了几遍，如去掉多余的空格，增加空格，去掉括号，增加括号等。原SQL如下： drop table temp_fin.cux..
Spark sql优化实战（一）
sinat_26781639的博客
02-24 738
背景：夜间跑批越来越慢，核心链路无法准时完成跑批，需要对超长任务进行优化。 案例一： create table tmp.tmp_test_d as select a.sku ,a.barcode ,a.tu_code ,a.buyer_...
Spark sql中的case when else
hbbg123456789的专栏
12-12 3050
val dataSeq = sql("SELECT if(os.status_pay=1,1,0) " + " FROM OrderShopModel os ") .collect().foreach(println) Spark Sql因为支持Hive的UDF，所以往往复杂的SQL可以写成很简单的方式实现。if(os.status_pay=1,1,0) 等价于 case os.stat
Spark之CASE...WHEN...THEN...的两种实现方式
liuxiangke0210的专栏
07-22 5637
在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。 一种是将dataframe看成数据库中的表，即使用createOrReplaceTempView（）函数，之后利用数据库的CASE…WHTN…THEN进行操作。另一种方法是，利用pyspark.sql.functions的when().othe...
SparkSql中的ISNULL和CASE WHEN方法
qq_32253371的博客
02-12 3619
sqlContext.sql("select (CASE WHEN ISNULL(B.age)=false THEN B.age ELSE  A.age END  ) AS age , A.name AS name  from (select * from people01 ) A  left join  (select * from people02)  B  on A.name= B.name...
spark-sql case when 问题
weixin_34127717的博客
05-19 2418
SELECT CASE (pmod(datediff(f0.`4168388__c_0`,'1970-01-04'),7)+1) WHEN '1' THEN '星期日' WHEN '2' THEN '星期一' WHEN '3' THEN '星期二' WHEN '4' THEN '星期三' WHEN '5' THEN '星期四' WHEN '6' THEN '星期五' WHE...
Spark SQL 中org.apache.spark.sql.functions归纳
xiaohu21的博客
10-06 2474
Spark SQL 中org.apache.spark.sql.functions归纳 注意，这里使用的是scala 2.12.12，spark版本是最新的3.0.1版本 1. Sort functions /** * Returns a sort expression based on ascending order of the column. * {{{ * df.sort(asc("dept"), desc("age")) * }}} * * @group s
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1092
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1678
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
SQL之CASE WHEN用法详解
热门推荐
qq_58148854的博客
01-01 3万+
现老师要统计班中，有多少男同学，多少女同学，并统计男同学中有几人及格，女同学中有几人及格，要求用一个SQL输出结果。当能耗值小于10时，使用P_LEVEL=0时的P_PRICE的值，能耗值大于10小于30使用P_LEVEL=1时的P_PRICE的值…如果表达式皆为false，则返回ElSE后result的值，如果省略了ELSE子句，则返回NULL。有能耗表如下：其中，E_TYPE表示能耗类型，0表示水耗，1表示电耗，2表示热耗。如果表达式返回true，则整个函数返回相应result的值，
一个简单的sparkSQL案例
坚持自己的梦想
02-16 1675
使用编程接口来创建DataFrame.
SparkSQL处理时序数据, 实践case
最新发布
qq_36213530的博客
03-19 1184
3.最后，上电阶段的数据是对我有用的，最后.where("T15_st == 1").drop("lag_tag")group_flag根据上一行的group_flag值累计，只有。物联网场景经常需要处理时序逻辑，数据按照createAt时序，T15_st只有0或者1，怎么把T15_st列转为。group_flag， 得到分组（第几次上下电）lag_tag，根据T15_st向下错位。T15_st=1而且lag_tag=0。，否则累加0，得到group_flag列。通过错位辅助列lag_tag，得到。
SparkSQL
我的笔记
02-23 9773
大数据自学笔记——spark学习笔记
select报错 spark_spark2.1：使用df.select(when(a===b,1).otherwise(0))替换(case when a==b then 1 else 0 end)...
weixin_39951930的博客
12-23 351
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题：代码数据：scala> importorg.apache.spark.sql.functions._importorg.apache.spark.sql.functions._scala> importspark.impl...
SparkSQL函数操作
HYSliuliuliu的博客
12-21 7520
SQL中函数，其实说白了就是各大编程语言中的函数，或者方法，就是对某一特定功能的封装，通过它可以完成较为复杂的统计。这里的函数的学习，就基于Hive中的函数来学习。概述当系统提供的这些函数，满足不了咱们的需要的话，就只能进行自定义相关的函数，一般自定义的函数两种，UDF和UDAF。UDF一路输入，一路输出，完成就是基于scala函数。通过模拟获取字符串长度的udf来学习自定义udf操作。代码实现// 创建执行入口// 导入隐式转换及构建数据"yukailu","maningna"))
spark-sql case when 问题
03-16
spark-sql中的case when语句用于根据条件执行不同的操作。它类似于其他编程语言中的switch语句。在spark-sql中，case when语句的语法如下： CASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ... ELSE default_result END 其中，condition1、condition2等是条件表达式，result1、result2等是对应条件表达式的结果，default_result是当所有条件都不满足时的默认结果。在使用case when语句时，需要注意条件表达式的顺序，因为只有第一个满足条件的表达式对应的结果会被返回。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值