python统计窗口函数怎么处理_用窗口函数计算PySpark中的累计和

我有以下示例数据帧：rdd = sc.parallelize([(1,20), (2,30), (3,30)])

df2 = spark.createDataFrame(rdd, ["id", "duration"])

df2.show()

+---+--------+

| id|duration|

+---+--------+

| 1| 20|

| 2| 30|

| 3| 30|

+---+--------+

我想按持续时间的desc顺序对这个DataFrame进行排序，并添加一个新列，该列具有持续时间的累计和。所以我做了以下几点：

^{pr2}$

我想要的输出是：+---+--------+----------------+

| id|duration|duration_cum_sum|

+---+--------+----------------+

| 2| 30| 30|

| 3| 30| 60|

| 1| 20| 80|

+---+--------+----------------+

我怎么得到这个？在

明细如下：+--------+----------------+

|duration|duration_cum_sum|

+--------+----------------+

| 30| 30| #First value

| 30| 60| #Current duration + previous cum sum value

| 20| 80| #Current duration + previous cum sum value

+--------+----------------+