spark中的内置函数以及如何处理日期时间

# DataFrame中的内置函数
from pyspark.sql import SparkSession, functions as F

ss = SparkSession.builder.getOrCreate()

df1 = ss.read.csv('hdfs://node1:8020/data/students.csv', header=True, sep=',',
                  schema='user_id int,username string,sex string,age int,cls string')

# 使用内置函数对字段数据进行计算
# 对字符串数据进行处理
# 拼接
df_concat = df1.select(F.concat('username', 'sex', 'cls').alias('rename_colum'), df1.age)
df_concat2 = df1.select(F.concat_ws((','), 'username', 'sex', 'cls').alias('rename_colum'), df1.age)

df_concat.show(30)
df_concat2.show(30)
# 截取
df_substring = df1.select(F.substring('username', 0, 1).alias('rename_colum'), df1.age)
df_substring.show()
# 切割
df_split = df_concat2.select(F.split('rename_colum', ','))
df_split2 = df_concat2.select(F.split('rename_colum', ',')[2])
df_split.show()
df_split2.show()

#日期处理函数

from pyspark.sql import SparkSession,functions as F

ss= SparkSession.builder.getOrCreate()

#日期数据处理
df = ss.createDataFrame([[1,'张三','2023-02-10 18:20:40'],[2,'李四','2024-02-10 18:30:40'],[3,'王五','2021-03-11 13:20:30']],schema='id int,name string,dt string')

#获取当前日期,日期时间，uninx时间
df_dt = df.select(F.current_date().alias('dt'),F.current_timestamp().alias('c_dt'),F.unix_timestamp().alias('时间戳'))

#时间的转化 将日期时间转为时间戳
df_dt_un = df.select(F.unix_timestamp(df.dt))

#将时间戳转为日期时间 F.lit()增加一列厂常量数据

df_dt_dt = df.select(F.from_unixtime(F.lit(1676024440),'yyyy-MM-dd'))

#时间加减操作
df_add= df.select(F.date_add(df.dt,2))
df_reduce = df.select(df.dt,F.date_add(df.dt,-2))

#比较时间的间隔 单位天
df_diff= df.select(df.dt,F.lit('2024-02-13'),F.datediff(df.dt,F.lit('2024-02-13')))

#查看数据
df.show()
df_dt.show(truncate=False)#如果想显示全部数据 truncate = False
df_dt_un.show()
df_dt_dt.show()

df_add.show()
df_reduce.show()
df_diff.show()