根据同事的建议,我更改了grep/sed/awk组合处理的程序,让程序一次将文件读入内存,然后用grep/sed/awk处理,结束后再读下一个文件。这样改进后,运行时间为29m7s,较Perl更快一点。
files=$(find /home/sqmdata/${data_date}/*)
for f in $files; do
grep/sed/awk...
done
根据同事的建议,我更改了grep/sed/awk组合处理的程序,让程序一次将文件读入内存,然后用grep/sed/awk处理,结束后再读下一个文件。这样改进后,运行时间为29m7s,较Perl更快一点。
files=$(find /home/sqmdata/${data_date}/*)
for f in $files; do
grep/sed/awk...
done