udtf函数的使用

自定义udtf函数

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

# 创建ss对象
ss = SparkSession.builder.getOrCreate()

# 读取hdfs上words.txt文件
df1 = ss.read.text(paths='/data/words.txt')
df1.show(truncate=False)

# 对value字段中的字符串数据以逗号进行分割,返回列表
df2 = df1.select(F.split('value', ',').alias('words_list'))
df2.show(truncate=False)

# 使用UDTF函数对列表进行拆分 explode()
df3 = df2.select(F.explode('words_list').alias('word'))
df3.show()

# 分组聚合操作 词频统计
df3.groupBy('word').count().orderBy('count', ascending=False).show()

# 一行代码编写
df1.select(F.explode(F.split('value', ',')).alias('word')).\
    groupBy('word').\
    count().\
    orderBy('count',ascending=False).\
    show()