网站的爬虫与反爬

参考资料：
互联网网站的反爬虫策略浅析
http://robbinfan.com/blog/11/anti-crawler-strategy

python爬虫对搜狗抓取微信搜索信息不全问题
http://www.oschina.net/question/2245966_173397

当爬虫被拒绝时(Access Denied)
http://blog.csdn.net/tlife/article/details/18950297

python 爬虫抓取心得分享
http://blog.chinaunix.net/uid-23500957-id-3878767.html

http://xiaorui.cc/2015/01/12/关于使用动态轮训切换ip防止爬虫被封杀/

网络爬虫排除协议robots.txt介绍及写法详解.
http://www.xgezhang.com/serach_engine_robots.html

腾讯、网易、新浪新闻网站爬虫编写记录及评论格式分析
http://blog.reetsee.com/archives/237