相信许多的站长、博主可能最关心的无非就是自己网站的收录情况,一般情况下我们可以通过查看空间服务器的日志文件来查看搜索引擎到底爬取了我们哪些个页面,不过,本人觉得很抽象,所以我就改了一下同事给我的一个爬行记录的程序,是比较好又比较直观方便操作的!可以获取到爬虫的ip,关键是记录下他访问的路径!
效果:
以前的这个程序不能使用,不过我做了一下改动,可以获取爬虫的ip,记录下他访问的路径和时间,并且可以筛选,优化了一下清空表记录!感觉还是很不错,原理是什么呢?就是每个访客访问一个网站的时候都是会带有头信息的,蜘蛛和爬虫其实也是访客,只不过他们会抓取你网页的内容。我们就通过php来获取他的头信息就可以了。程序下载链接:http://l4.yunpan.cn/lk/QkPBdYTxeadZU
核心代码:
<?php
include_once 'config.php';
@