最近在统计中,发现了数据流在流转的过程里,出现了严重的丢失数据的情况。
我们这边数据采集因为历史原因(处理比较繁琐),采用的是awk的方式在进行处理。
而awk调用的外部函数只能用命令行的方式。
而就是命令行调用后,没有做close的清理操作,导致了临时变量缓存起来,也就影响了最终数据不一致。
最近在统计中,发现了数据流在流转的过程里,出现了严重的丢失数据的情况。
我们这边数据采集因为历史原因(处理比较繁琐),采用的是awk的方式在进行处理。
而awk调用的外部函数只能用命令行的方式。
而就是命令行调用后,没有做close的清理操作,导致了临时变量缓存起来,也就影响了最终数据不一致。