pyspark对字段加前缀，拼接字符串

攻城狮Kevin

已于 2023-05-30 18:22:02 修改

阅读量434

点赞数

文章标签： python spark

于 2023-05-30 18:19:58 首次发布

本文链接：https://blog.csdn.net/wx1528159409/article/details/130954366

版权

代码逻辑：在df中，当字段main_task_id为"0"时，则对字段sub_task_id加前缀"check_"，否则取其本身的值

正确代码如下：

df2 = df.withColumn("sub_task_id", when(col("main_task_id") == "0", concat(lit('check_'), col("sub_task_id"))).otherwise(col("sub_task_id")))

通过concat()函数进行字段拼接，通过lit("check_")构建一个字面值列

错误代码如下：

concat('check_', col("sub_task_id"))

直接对字段拼接字符串，会报错pyspark.sql.utils.AnalysisException: u"cannot resolve '`check_`' given input columns:

优惠劵

攻城狮Kevin

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
pyspark对字段加前缀，拼接字符串

通过concat()函数进行字段拼接，通过lit("check_")构建一个字面值列。
复制链接

扫一扫

MyBatis 动态拼接Sql字符串的问题

09-01

MyBatis的动态SQL，解决了SQL字符串拼接的痛苦。下文分步骤给大家详细介绍了MyBatis 动态拼接Sql字符串的问题，非常不错，感兴趣的朋友一起看下吧

pyspark之字符串函数操作（五）

人生百态361

02-28

2529

1. 字符串拼接 2. 字符串格式化 3. 查找字符串位置 4. 字符串截取 5. 正则表达式 6. 正则表达式替换 7. 其他字符串函数 1. 字符串拼接 from pyspark.sql.functions import concat, concat_ws df = spark.createDataFrame([('abcd','123')], ['s', 'd']) # 1.直接拼接...

参与评论您还未登录，请先登录后发表或查看评论

concat_ws(sep, *cols)和concat(*cols) pyspark.sql.functions使用详解

qq_34669699的博客

02-17

368

concat(*cols)和concat_ws(sep, *cols)使用

pyspark系列--字符串函数

u010955999的博客

07-19

6540

字符串函数 1. 字符串拼接 2. 字符串格式化 3. 查找字符串位置 4. 字符串截取 5. 正则表达式 6. 正则表达式替换 7. 其他字符串函数 1. 字符串拼接 from pyspark.sql.functions import concat, concat_ws df = spark.createDataFrame([('abcd','123')], ['s', ...

pyspark 合并DataFrame的两个字段

sijin_190527的博客

11-30

645

df_new = df.withColumn('field_new',F.array(df['field_1'],df['field_2'])) #field_new字段输出结果 ['qqq', 'www']

python pandas Dataframe 多列拼接，列拼接字符串

u012534143的博客

07-12

5236

python pandas Dataframe 多列拼接，列拼接字符串

oracle拼接字符串和拼接一列的值

09-28

oracle拼接字符串查询语句。普通拼接字符串和拼接某一列的所有值。

sql server拼接字符串和拼接一列的值

09-03

sql server拼接字符串查询语句。普通拼接字符串和拼接某一列的所有值。

Python 合并拼接字符串的方法

09-16

主要介绍了Python 合并拼接字符串的方法，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下

MySql逗号拼接字符串查询的两种方法

12-16

例如某字段里是为1,2,3,4,5 使用方法: 第一种,传入1,3,6 可以查出来 select * from XXX where FIND_PART_IN_SET('1,3,6','1,2,3,4,5') 第二种,传入1,3,6 查不出来 select * from XXX where FIND_ALL_PART_IN_...

Lua判断字符串前缀是否为指定字符的3种方法

09-22

主要介绍了Lua判断字符串前缀是否为指定字符的3种方法,本文还对三种方法分别做了性能测试,需要的朋友可以参考下

MySQL拼接字符串函数GROUP_CONCAT详解

01-21

领导想要查看每个 performance 下都有谁，同时要求将这些人的名称要逗号拼接成一个字符串，也就是说要得到下面的结果：要将结果集中某个指定的列进行字符串拼接，这要怎么做呢？主角闪亮:sparkles:登场 GROUP_...

批量替换 MySQL 指定字段中的字符串

09-11

批量替换 MySQL 指定字段中的字符串是数据库应用中很常见的需求，但是有很多初学者在遇到这种需求时，通常都是用脚本来实现；其实，MySQL 内置的有批量替换语法，效率也会高很多；想了解具体方法，继续阅读本文吧 :)

Mysql字符串字段判断是否包含某个字符串的2种方法

12-15

假设有个表：代码如下: CREATE TABLE users(id int(6) NOT NULL AUTO_INCREMENT,PRIMARY KEY (id),user_name VARCHAR(20) NOT NULL,emails VARCHAR(50) NOT NULL); 初始化表，并添加些记录。...

js拼接html字符串的注意事项

10-21

下面小编就为大家带来一篇js拼接html字符串的注意事项。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

Oracle截取字符串去掉字段末尾指定长度的字符

12-16

//去掉该字段后面15位字符串 select t.depre_name, substr(t.depre_name, 0, (length(t.depre_name) - 16)) from table t where t.del_flag = '0' 【备注】一个汉字在Oracle数据库里占多少字节跟数据库的字符集有关...

mysql字符串拼接并设置null值的实例方法

09-09

在本文中小编给大家整理的是关于mysql 字符串拼接+设置null值的实例内容以及具体方法，需要的朋友们可以学习下。

查找mysql字段中固定字符串并替换的几个方法

01-20

第一、替找字符串，我们可以用mysql里的replace 这个用法，本博也有提到。详见：https://www.jb51.net/article/31374.htm好我们把 “中国” 这个字符给去掉。 update table set address = replace(address ,’中国...

django自定义Field实现一个字段存储以逗号分隔的字符串

01-20

实现了在一个字段存储以逗号分隔的字符串，返回一个相应的列表复制代码代码如下:from django import formsfrom django.db import modelsfrom django.utils.text import capfirstfrom django.core import ...

mysql 字段拼接字符串

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交