多行日志合并处理的内外存方法

上一讲中，我们介绍了如何用SPL将一行日志结构化为一条记录，今天则要说一下多行日志对应一条记录的情况，我们称之为不定行日志。

 

事实上，集算器自己的输出日志就是这种不定行日志，我们来看一下集算器节点机下的一个日志文件rqlog. log，同样摘录两段日志：

[2018-05-14 09:20:20]

DEBUG: 临时文件过期时间为：12小时。

 

[2018-05-14 09:20:20]

DEBUG: Temporary file directory is:

D:\temp\esProc\nodes\127.0.0.1_8281\temp.

Files in temporary directory will be deleted on every 12 hours.

简单分析一下这两段日志，每一段第一行都是方括号中的时间，紧接着第二行是用冒号分隔的日志类型和日志内容，随后各行都是日志内容的补充，直至遇到下一个方括号中的时间行。由此可以确定，结构化后的字段应该有三个：日志时间、日志类型和日志内容。

对于这种不定行的日志，最直接的结构化思路就是逐行加载，并根据条件拼接成相应的字段。但这里有个麻烦，由于每条记录对应的行数不确定，所以需要另外通过条件判断来识别每条记录的起始行。另一个问题就是当使用游标分析比较大的文件时，由于每次fetch的行数不可能总是刚好断在一条记录的末尾，所以在fetch的块与块之间还要考虑衔接问题。

所以，对于这种类型的日志，最理想的方法，是应该能把每一块日志与其它块自动分开。这样，就可以直接将每一块日志解析到一条记录，而不需要考虑读取的行应该属于上一条记录还是下一条记录。

SPL中就有这样的分组方式，形如A.group@i(exp)，只不过其中的分组表达式exp不能返回枚举值，而应该返回布尔值。而i选项则表示根据相邻行计算exp，如果返回true就表示建立一个新组，其后面连续返回false的行都归于这个组。

有了这样的分组方式，我们只要写出能解析记录第一行的exp就可以了。本例中，记录第一行是以方括号“[”开始的一个日期时间，如果能够确定后面的内容中不会有以“[”开始的行，那么分组表达式只需判断每一行的第一个字符是否为‘[’就可以了。

下面是实现的脚本文件convertlog.dfx：

	A	B	C	D
1	=create(日志时间, 日志类型, 日志内容 )	=now()
2	=file@s(fileName:"UTF-8")	=A2.read@n()	=B2.select(~!="")</