最近要开始Web Spider的开发工作,陆续收集了一些资料,分享一下,等Spider开发完毕后再将开发心得整理一下。
The Web Robots Pages : http://www.robotstxt.org/wc/robots.html ,一些很好的规则定义以及定义了Robots协议
Guidelines for Robot Writers : http://www.robotstxt.org/wc/guidelines.html
SearchTools.com: http://www.searchtools.com/robots/ ,All About Search Indexing Robots and Spiders