pyspark获取一个array列里最小值的index

获取一个array列里最小值的index

df=mapper_res.withColumn('min_dist_index',
	F.expr("array_position(dist_list,array_min(dist_list))-1"))

这里需要-1，因为array_position函数是从1开始的，但是array 的index是从0开始的.
当然也可以通过sql写：

select array_position(dist_list,array_min(dist_list))-1 from table

主要用到两个函数：
array_position 获取array中值的位置

array_position ：定位给定值在给定数组中第一次出现的位置。如果任一参数为 null，则返回 null。

官网的例子

>>> df = spark.createDataFrame([(["c", "b", "a"],), ([],)], ['data'])
>>> df.select(array_position(df.data, "a")).collect()
[Row(array_position(data, a)=3), Row(array_position(data, a)=0)]

和

array_min 获取array中的最小值

array_min :集合函数：返回数组的最小值。

官网的例子

>>> df = spark.createDataFrame([([2, 1, 3],), ([None, 10, -1],)], ['data'])
>>>df.select(array_min(df.data).alias('min')).collect()
[Row(min=1), Row(min=-1)]