scrapy集成selenium

1.首先要明确scrapy的流程spider将request发给downloader middleware去下载，然后后者再将response交还给spider去解析。
2.因此，在middleware收到request之后，可以不用直接去下载，而使用selenium.webdriver去下载，然后返回response，这涉及到一个模块scrapy.http.HtmlResponse.
3.同时，关于如何关闭chrome，涉及到信号问题，即scrapy closed 的时候，browser quit。scrapy.signals 模块，scrapy.xlib.pydispatch.dispatch函数
4.对于parse,可以用更有效率的scrapy.selector. S=scrapy.selector(text=browser.page_sourse/response)
5.browser.execute_script(‘windows.scrollTo(0,document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;’)完成鼠标下拉
5.不加载图片

6.chrome在无界面情况下使用，首先pip install pyvirtualdisplay