pyspark读取csv_开窗函数之累积和，PySpark，Pandas和SQL版实现

之前写过一篇PySpark之窗口函数实战，想更多了解开窗(窗口)函数，可以看看那篇文章。

今天主要是结合Pandas， Koalas和PySpark来介绍下开窗函数的累积和。

测试环境

• Jupyter Notebook

• iPython-sql

• PySpark 3.0

• Koalas

• Pandas

名词解释

累积和(Cumulative Sum，CUSUM)是一种序贯分析法，由剑桥大学的 E. S. Page 于1954年首先提出。

累积和用以在某个相对稳定的数据序列中，检测出开始发生异常的数据点。所谓异常的数据点，比如说，从这点开始，整个数列的平均值或者均方差开始发生改变，进而影响到整组数据的稳定。所以累积和最典型的应用是在“改变检测”(Change Detection)中对参量变化的检测。由于累积和管制法能充分利用数据变化之顺序与大小,故相当适合用于侦测制程的微量变化(small shifts)

维基百科

测试数据

%%writefile winsales.csvsalesid,dateid,sellerid,buyerid,qty,qty_shipped30001, '8/2/2003