以下内容是从日志合并拆分一直到导入excel,然后进行百度抓取url去重的全过程,因此用到了不少知识,为了更多初入门的朋友明白,请参考以下几个贴子。 我是用Ubuntu下的linux进行日志拆分的,所以有兴趣的朋友请点击Ubuntu和lynx安装指南(图文攻略)
日志分析的方法是采用zhiping版主的Linux下使用grep命令分析网站日志 虚拟机上文件与win主机共享的方法wmware下ubuntu共享文件夹之手把手教程。(日志分析必备) 一,进入终端,输入cd /mnt/hgfs 进入共享文件夹,我的共享文件目录是gnbase,所以我接着输入cd gnbase
注:ls是查看文件及目录命令。
二,合并和拆分相关日志(Linux下使用grep命令分析网站日志) 输入cat *.log >3.log (把所有的log日志合并为3.log)
输入grep "Baiduspider+" 3.log >baiduspider.log (拆分3.log中的百度蜘蛛日志)