网宿、快网cdn日志分析refer

2019独角兽企业重金招聘Python工程师标准>>>

    网宿、快网cdn日志分析refer

   

    文章中的文件名已换成其他，请根据实际情况自行填写。

gunzip 2015-12-10-0000-2330_m.perofu.com.cn.cn.log.gz  gawk -F'"' '{print $4}' 2015-12-10-0000-2330_m.perofu.com.cn.cn.log &> refer.log awk -F'/' '{print $3}' refer.log |sort |uniq -c|sort -nr &> 1.log

    实例：

[root@ cdn_log]# gunzip 2015-12-10-0000-2330_m.perofu.com.cn.cn.log.gz  [root@ cdn_log]# ll 总计 7237964 -rw-r--r-- 1 root root 7404425003 12-23 10:39 2015-12-10-0000-2330_m.perofu.com.cn.cn.log drwxr-xr-x 2 root root       4096 12-22 16:14 tmp [root@ cdn_log]# gawk -F'"' '{print $4}' 2015-12-10-0000-2330_m.perofu.com.cn.cn.log |head  - http://m.perofu.com.cn/auto/sg2453/?_kstrace_=t_16_2453_serial_0_zh-serial_ http://m.perofu.com.cn/auto/pic/m34619-o1-2.html [root@ cdn_log]# gawk -F'"' '{print $4}' 2015-12-10-0000-2330_m.perofu.com.cn.cn.log &> refer.log [root@ cdn_log]# ls -alth 总计 8.2G -rw-r--r--  1 root root 1.3G 12-23 10:47 refer.log drwxr-xr-x 41 root root 4.0K 12-23 10:46 .. drwxr-xr-x  3 root root 4.0K 12-23 10:43 . -rw-r--r--  1 root root 6.9G 12-23 10:39 2015-12-10-0000-2330_m.perofu.com.cn.cn.log drwxr-xr-x  2 root root 4.0K 12-22 16:14 tmp [root@ cdn_log]# awk -F'/' '{print $3}' refer.log|head -n2   m.perofu.com.cn [root@ cdn_log]# awk -F'/' '{print $3}' refer.log |sort |uniq -c|sort -nr &> 1.log [root@ cdn_log]# head -n30 1.log 16618822 m.perofu.com.cn 2066639   895538 m.baidu.com  279853 m.sp.sm.cn   68179 m.yz.sm.cn   57460 bbs.perofu.com.cn   57046 hao.uc.cn   56843 www.perofu.com.cn   50372 price.perofu.com.cn   47873 pms.mb.qq.com   40016 m.hao123.com   39291 m.sogou.com   25900 www.baidu.com   24184 m5.baidu.com   24033 wap.sogou.com   10048 m.sj.sm.cn    9312 go.uc.cn    8670 v.perofu.com.cn    8110 m.sa.sm.cn    7712 m.xm.sm.cn    6544 m.yz2.sm.cn    5438 h5.mse.360.cn    4090 club.perofu.com.cn    3921 m.sm.cn    3502 p.mb.qq.com    3417 k.perofu.com.cn    3414 hao.lenovo.com    3192 baike.perofu.com.cn    3047 go.10086.cn    2334 my.perofu.com.cn [root@ cdn_log]#

 

转载于:https://my.oschina.net/fufangchun/blog/549494