python+scrapy+selenium结合

第一篇CSDN博客，先写个笔记

最近在学习python利用selenium爬取动态网站，因为之前学了scrapy框架，然后就不理解怎么把scrapy和selenium结合起来使用，看了几个文章，说的是用scrapy框架自动生成目录结构后，在middleware.py里面自定义自己的中间件代码。重要的方法就是process_request()。

看的两个文章：

http://www.jianshu.com/p/b93c21401944

http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html