获取一个array列里最小值的index
df=mapper_res.withColumn('min_dist_index',
F.expr("array_position(dist_list,array_min(dist_list))-1"))
这里需要-1,因为array_position函数是从1开始的,但是array 的index是从0开始的.
当然也可以通过sql写:
select array_position(dist_list,array_min(dist_list))-1 from table
主要用到两个函数:
array_position
获取array中值的位置
array_position :定位给定值在给定数组中第一次出现的位置。如果任一参数为 null,则返回 null。
官网的例子
>>> df = spark.createDataFrame([(["c", "b", "a"],), ([],)], ['data'])
>>> df.select(array_position(df.data, "a")).collect()
[Row(array_position(data, a)=3), Row(array_position(data, a)=0)]
和
array_min
获取array中的最小值
array_min :集合函数:返回数组的最小值。
官网的例子
>>> df = spark.createDataFrame([([2, 1, 3],), ([None, 10, -1],)], ['data'])
>>>df.select(array_min(df.data).alias('min')).collect()
[Row(min=1), Row(min=-1)]