集算器实现外存排序的代码示例

在数据分析计算中，将表中的记录排序，是很常见的需求。集算器中，可以用sort函数为序列或者序表中的数据排序。如果需要排序的数据量巨大，就不能一次将它们读入内存，这样普通的排序方法就无法执行了，此时需要使用外存排序。

 

如，文本文件Order_Foods.txt中，存储了50,000条食品的订单信息：

 

现在，需要将订单中的数据按照以下要求排序：

1、按照食品名称升序排序；

2、按照订单日期升序排序，日期相同的按照食品名称降序排序；

3、先按照订单日期降序排序，日期相同的按照订单金额降序排序。

 

 

在这里50,000条数据并不算很多，我们只是以此为例了解一下如何为大数据排序。在实际应用中，可能会遇到几亿条记录，或者几十上百G的数据文件。

在集算器中，遇到大数据时，需要使用游标来计算，数据表中的记录不会一次全部读出，而是按照设定每次读取一条或多条记录，这就可以避免数据计算时的内存溢出。但是，由于每次读取的都只是部分数据，如果需要对游标中的所有数据进行排序、分组等计算时，是无法直接完成的。集算器中的cs.sortx(x…;n)函数，可以利用外存，根据设定的缓冲区行数n来将游标内的数据逐步读出，分别处理并存储在外存文件中，以避免内存溢出。游标排序的结果仍然是一个游标，读取数据的方法和普通的游标完全相同。

 

下面我们看一下如何对Order_Foods.txt中的数据完成排序：

 

A2中，用文本文件Order_Foods.txt生成游标，用第一行作为列名。A3中使用sortx函数，将A2游标中的数据按照食品名称升序排序。排序时，设定了缓冲区行数是1000，这样每读出1000条记录就排序1次，将结果存为1个临时外存文件，排序完成的结果是一个游标：

 

在用这个游标取数时，将自动将生成的所有外存文件归并，读取出所需数据。如A4中读出了排序后的前1000条记录如下：

 

 

A5中将游标关闭后，刚刚排序时产生的外存文件都会自动清除。由于A3中的游标是由A2中游标生成的，因此A3中的游标关闭之后，A2中的游标也会关闭。如果需要计算按订单日期升序排序再按照食品名称降序排序的结果，需要在A6中重新生成游标。如果需要了解更多关于大数据排序的情况，请参阅http://blog.raqsoft.cn/?p=3063 。

A7中按需要将游标中的数据外存排序。sortx函数中，可以指定多个排序字段或排序表达式，如果某个表达式需要降序排序，需要在排序表达式前添加负号。A7中的排序结果同样是游标：

 

这一次，先在A8中跳过20,000条记录，再在A9中读出排序后的第20,001~21,000条数据如下：

 

游标使用完毕后，需要在A10中将其关闭，这样才能即时清理外存文件。如果游标中的数据全部读完，则会自动关闭，不必再调用cs.close()命令。

在排序表达式前加负号来执行降序排序的方法，不仅适用于A7中的字符类型数据，也适用于日期类型或者数值类型。在A12中执行降序排序时，分别使用了日期类型字段和数值类型字段，A13中读取了排序后数据的前1000条记录如下：