python中scrapy的学习

最近再看scrapy，在这里放一些可能会用到的链接，方便自己查阅。

---

这一篇讲了scrapy的框架，对于整体上把握scrapy还是很有帮助的

scrapy架构及原理

---

这里讲了防止爬虫被ban的一些方法，里面有下载中间件的设置方法

反反爬虫相关机制

---

这里是一些scrapy结合selenium来执行js的一些方法

爬虫之动态HTML处理（Selenium与PhantomJS ）执行 JavaScript 语句

python scrapy selenium phantomJS爬取动态网页

使用scrapy结合selenium和PhantomJS抓取动态内容，感觉是多余的？

scrapy 和selenium如何连接起来

---

具体关于scrapy的教程我会之后更新，可能会在我的个人网站,文艺数学君里更新，到时候也会在这个博客有通知。