SparkSQL中常见函数

2 篇文章 0 订阅

替换函数
1、regexp_replace(str,“abc”,“b”)
将str中的abc替换成b

regexp_replace("2.10.100.103.3","2.10.100.103.","") 
结果:3
regexp_replace("2.10.100.103.2","10","4")
结果:2.4.40.43.2

2、translate(“str”,“abc”,“b”)
将str中的a替换成b,并且将str含有字符b,c过滤掉

translate("2.10.100.103.3","2.10","")
结果:33
translate("2.10.100.103.2","1","2")
结果:2.20.200.203.2
translate("2.10.100.103.2","10","4")
结果:2.4.4.43.2

切割函数 split

split("1.10.200.36","\\.")[2]
结果:200

截取字符串 substr(string A, intstart, int len)
返回字符串A从start位置开始,长度为len的字符串

substr(" 1.10.200.36",6,3)
结果:200

通过某字符截取字符串
1.2.10.20.40 截取 1.2.10.20
方法一:

regexp_replace('1.2.10.20.40',concat(".",split('1.2.10.20.40',"\\.")[size(split('1.2.10.20.40',"\\."))-1]),"")

方法二:

regexp_extract('1.2.10.20.40', '([\.0-9]+)(\\.\\d+)',1)

1.2.10.20.40 截取 40

 regexp_extract('1.2.10.20.40', '([\.0-9]+\\.)(\\d+)',2)
  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL提供了一系列常用的函数,用于对数据进行处理、转换和分析。下面是一些常见Spark SQL函数示例: 1. 聚合函数: - SUM(column):计算指定列的总和。 - AVG(column):计算指定列的平均值。 - MIN(column):找出指定列的最小值。 - MAX(column):找出指定列的最大值。 - COUNT(column):计算指定列的非空值数量。 2. 字符串函数: - LENGTH(column):计算指定列的字符长度。 - CONCAT(column1, column2, ...):将多个列合并为一个字符串。 - SUBSTRING(column, start, length):从指定列截取子字符串。 - TRIM(column):去除指定列的首尾空格。 3. 时间日期函数: - CURRENT_DATE():返回当前日期。 - CURRENT_TIMESTAMP():返回当前时间戳。 - DATE_FORMAT(date, format):将日期格式化为指定格式的字符串。 - YEAR(date):返回日期的年份。 - MONTH(date):返回日期的月份。 4. 条件函数: - CASE WHEN condition THEN value ELSE value END:根据条件进行条件判断。 - COALESCE(column1, column2, ...):返回第一个非空值。 - IF(condition, value1, value2):根据条件返回不同的值。 5. 数学函数: - ABS(column):返回指定列的绝对值。 - ROUND(column, scale):对指定列进行四舍五入。 - CEIL(column):返回大于等于指定列的最小整数。 - FLOOR(column):返回小于等于指定列的最大整数。 以上只是Spark SQL函数的一些示例,还有其他更多的函数可用于不同的数据处理需求。你可以根据具体情况来选择和使用相应的函数

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值