条件查询大文本文件的通用办法

在进行文本处理时，经常会遇到对大文件进行条件查询的情况。用命令行的grep\cat可以处理一些简单情况，写法很简单，但效率太低，用高级语言处理此类问题虽然可以获得较高的运行效率，但代码编写复杂度却相当高。如果遇到条件比较复杂或条件经常变化的情况，还需要额外实现一套类SQL的底层库函数，其难度会更大。

集算器支持大文件条件查询和多线程并行计算，代码简洁性能优异，下面通过例子来看一下具体作法。

文本文件employee.txt中保存了员工数据。现在要读取员工信息，从中找出1981年1月1日（含）之后出生的女员工，最后将查询结果输出到result.txt中。

         文本文件empolyee.txt的格式如下：

EID   NAME       SURNAME        GENDER  STATE        BIRTHDAY        HIREDATE         DEPT         SALARY

1       Rebecca   Moore      F       California 1974-11-20       2005-03-11       R&D          7000

2       Ashley      Wilson      F       New York 1980-07-19       2008-03-16       Finance    11000

3       Rachel      Johnson   F       New Mexico     1970-12-17       2010-12-01       Sales         9000

4       Emily         Smith        F       Texas        1985-03-07       2006-08-15       HR    7000

5       Ashley      Smith        F       Texas        1975-05-13       2004-07-30       R&D          16000

 

集算器代码：

    A1：以游标的形式打开文件。函数cursor并不会将数据全部读入内存，而是以游标（流）的方式打开文件，因此不会占据内存空间。函数cursor使用了默认参数，即：以tab为列分割符读入全部的字段。选项@t表示文件的第一行是列名，之后可以使用直观的列名来书写表达式，如果没有这个选项，则会自动命名为_1、_2、_3…_n。

A2=A1.select(${where})

按照条件过滤。这里使用宏来实现动态解析表达式，其中的where就是动态传入的参数，需要提前定义。定义参数的界面如下：

 

集算器会先计算${…}里的表达式，将计算结果作为宏字符串值替换${…}之后解释执行。比如按照案例中的条件给where赋值为BIRTHDAY>=date(1981,1,1) && GENDER=="F"，则A2的表达式会被替换为=A1.select(BIRTHDAY>=date(1981,1,1) && GENDER=="F")。参数可以在IDE中输入，也可以来自JAVA代码和命令行。

A3=file("D:/result.txt").export@t(A2)。将计算结果输出到文件中。如果计算结果总是很小，也可以用=A2.fetch()将计算结果放入内存并直接观察，或者用result A2.fetch()将计算结果返回给JAVA程序。

本案例的最终结果如下：

          本案例实现的是动态查询，即过滤条件发生变化时不用改变代码，只需改变where参数即可。例如，条件变为：查询1981年1月1日（含）之后出生的女员工，或者NAME+SURNAME等于”RebeccaMoore”的员工。Where的参数值可以写为：BIRTHDAY>=date(1981,1,1) && GENDER=="F" || NAME+SURNAME=="RebeccaMoore"。执行之后，A2中的结果集如下图：

 前面的算法是串行，改成并行可以进一步提高性能，具体做法是用多个线程并行读取文件，每个线程都用游标访问文件的一部分，并同时进行条件查询，最后再将每个游标的结果合并。

集算器并行计算的代码如下：

     A1=4，A1是分段数量，即将文件分成4段。分段数量，也就是实际执行时的并行数，一般不要超过CPU的核数，否则会形成排队等待，并不能提高性能。实际使用最大并行数量可以在选项中配置。

A2=A1.(file("d:/employee.txt").cursor@z(;, ~:A1))

上面的代码按照分段数量生成4个游标。其中A1.(express)表示按照括号内的表达式依次计算A1的成员，括号内可用“~”来表示当前成员。A1一般是集合，比如["file1", " file2"]或[2,3]，A1如果是从1开始的连续数字，比如[1,2,3,4]，则可以简写成4.( express)，案例中的代码就是这种情况。

括号内的表达式是file("d:/employee.txt ").cursor@z(;, ~:A1)，其中函数cursor使用了选项@z，这表示将文件分段，用游标取其中的某一段。~:A1表示文件会被大致分为4段(A1=4)，当前取第~段。“~”是A1的当前成员，因此每个游标依次对应第1、第2、第3、第4段文件。

另外，之所以是“大致分”，是因为精确分会出现半行数据的情况，而集算器会去头补位，自动取出整行数据。

A3=A2.(~.select(${where}))，这句代码针对A2中的每个游标（即~）进行计算，求查询出游标中符合条件的行数据。这里的计算结果仍然是四个游标。

A4=A3.conj@xm()，这句代码将A3中的多个游标进行并行合并。

A5=file("d:/result.txt”).export(A4)，将最终计算结果输出到文件中。