数据采集严重丢失数据随记

最近在统计中，发现了数据流在流转的过程里，出现了严重的丢失数据的情况。

我们这边数据采集因为历史原因（处理比较繁琐），采用的是awk的方式在进行处理。

而awk调用的外部函数只能用命令行的方式。

而就是命令行调用后，没有做close的清理操作，导致了临时变量缓存起来，也就影响了最终数据不一致。