参考资料:
互联网网站的反爬虫策略浅析
http://robbinfan.com/blog/11/anti-crawler-strategy
python爬虫对搜狗抓取微信搜索信息不全问题
http://www.oschina.net/question/2245966_173397
当爬虫被拒绝时(Access Denied)
http://blog.csdn.net/tlife/article/details/18950297
python 爬虫抓取心得分享
http://blog.chinaunix.net/uid-23500957-id-3878767.html
http://xiaorui.cc/2015/01/12/关于使用动态轮训切换ip防止爬虫被封杀/
网络爬虫排除协议robots.txt介绍及写法详解.
http://www.xgezhang.com/serach_engine_robots.html
腾讯、网易、新浪新闻网站爬虫编写记录及评论格式分析
http://blog.reetsee.com/archives/237