一个文本处理效率小例子

最新推荐文章于 2020-01-15 21:10:00 发布

毛毛雨_AM

最新推荐文章于 2020-01-15 21:10:00 发布

阅读量3.2k

点赞数

分类专栏： Linux

本文链接：https://blog.csdn.net/dbvasp/article/details/8703259

版权

Linux 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

假定某个web服务器的日志其中一行如下：

61.159.245.95 - - [01/Aug/2003:15:39:39 +0800] "GET　/epl.shtml HTTP/1.1" 302 251 "http://www.hao123.com/sport2/football.htm" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Avant Browser [avantbrowser.com])"

该LOG文件超过10万行，如何列出最后的10万行中请求最多前十位IP，显示如下的结果：

358 140.113.111.105
263 36.4.216.181
200 86.209.29.99
200 51.117.24.41
200 35.51.17.62
200 245.97.190.176
199 5.209.207.67
199 238.190.2.28
199 201.91.66.208
199 139.93.146.162

LOG可以使用如下脚本来生成：

#!/bin/bash

randomIP() {
       IP="$(($RANDOM/128))"
       IP=${IP}.$(($RANDOM/128))
       IP=${IP}.$(($RANDOM/128))
       IP=${IP}.$(($RANDOM/128))
       echo $IP
}
sum=1
echo > test
while [ $sum -le 110000 ]
do
        j=$(($RANDOM % 200 + 1))
        addr=$(randomIP)
        for i in `seq 1 $j`
        do
                echo -n "$addr" >> test
                echo ' - - [01/Aug/2003:15:39:39 +0800] "GET　/epl.shtml HTTP/1.1" 302 251 "http://www.hao123.com/"' >> test
        done
                sum=$(($sum+$j))
done

三次时间如下：

[root@desktop2 test]# time (tail -n 100000 test | awk '{name[$1]+=1}END{for(i in name){print name[i]" "i}}' | sort -nr | head -n 10)
358 140.113.111.105
263 36.4.216.181
200 86.209.29.99
200 51.117.24.41
200 35.51.17.62
200 245.97.190.176
199 5.209.207.67
199 238.190.2.28
199 201.91.66.208
199 139.93.146.162

real    0m0.081s
user    0m0.060s
sys     0m0.018s
[root@desktop2 test]# time (tail -n 100000 test | awk '{name[$1]+=1}END{for(i in name){print name[i]" "i}}' | sort -nr | head -n 10)
358 140.113.111.105
263 36.4.216.181
200 86.209.29.99
200 51.117.24.41
200 35.51.17.62
200 245.97.190.176
199 5.209.207.67
199 238.190.2.28
199 201.91.66.208
199 139.93.146.162

real    0m0.069s
user    0m0.047s
sys     0m0.019s
[root@desktop2 test]# time (tail -n 100000 test | awk '{name[$1]+=1}END{for(i in name){print name[i]" "i}}' | sort -nr | head -n 10)
358 140.113.111.105
263 36.4.216.181
200 86.209.29.99
200 51.117.24.41
200 35.51.17.62
200 245.97.190.176
199 5.209.207.67
199 238.190.2.28
199 201.91.66.208
199 139.93.146.162

real    0m0.081s
user    0m0.049s

sys 0m0.020s

结论：对于大量文本处理的情况，尽量少的直接使用shell下的指令，而尽量多的使用awk来提高处理效率。