java excel导入去重_如何把日志导入到excel文档图文教程(含url去重)

以下内容是从日志合并拆分一直到导入excel，然后进行百度抓取url去重的全过程，因此用到了不少知识，为了更多初入门的朋友明白，请参考以下几个贴子。 我是用Ubuntu下的linux进行日志拆分的，所以有兴趣的朋友请点击Ubuntu和lynx安装指南(图文攻略)

日志分析的方法是采用zhiping版主的Linux下使用grep命令分析网站日志 虚拟机上文件与win主机共享的方法wmware下ubuntu共享文件夹之手把手教程。(日志分析必备) 一，进入终端，输入cd /mnt/hgfs 进入共享文件夹，我的共享文件目录是gnbase，所以我接着输入cd gnbase

注：ls是查看文件及目录命令。

二，合并和拆分相关日志(Linux下使用grep命令分析网站日志) 输入cat *.log >3.log (把所有的log日志合并为3.log)

输入grep "Baiduspider+" 3.log >baiduspider.log (拆分3.log中的百度蜘蛛日志)