以前学习Scrapy框架时遇到过这个问题,但是当时没有整理解决方法,最近一同事问起这个问题后又花了不少时间才解决,所以我觉得有必要整理一下这个问题。
之所以Scrapy下载的HTML和浏览器中呈现的HTML不一样是由于网页中的一些页面是由JS触发的,所以我们只要模拟浏览器的JS触发时间就可以解决该问题,现在最常用的是使用Selenium解决此问题。
Selenium
作为一个用于Web应用程序测试的工具,其测试直接运行在浏览器中,框架底层使用JavaScript模拟真实用户对浏览器的操作,从终端用户的角度测试应用程序。下面我是使用Selenium操作Firefox访问网页以获得JS生成后的网页。
Scrapy使用Selenium
在settings.py加入
DOWNLOADER_MIDDLEWARES = { 'companyinfo.middlewares.RandomUserAgent': 543, 'companyinfo.middlewares.JavaScriptMiddleware': 543, #添加此行代码 # 该中间件将会收集失败的页面,并在爬虫完成后重新调度。(失败情况可能由于临时的问题,例如连接超时或者HTTP 500错误导致失败的页面) 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 80, # 该中间件提供了对request设置HTTP代理的支持。您可以通过在 Request 对象中设置 proxy 元数据来开启代理。 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100, }
class JavaScriptMiddleware(object): def process_request(self, request, spider): # executable_path = '/home/hadoop/crawlcompanyinfo0906/phantomjs' print "PhantomJS is starting..." # driver = webdriver.PhantomJS(executable_path) # 指定使用的浏览器 driver = webdriver.Firefox() driver.get(request.url) time.sleep(1) js = "var q=document.documentElement.scrollTop=10000" driver.execute_script(js) # 可执行js,模仿用户操作。此处为将页面拉至最底端。 time.sleep(3) body = driver.page_source print ("访问" + request.url) return HtmlResponse(driver.current_url, body=body, encoding='utf-8', request=request)这里selenium启动的Firefox浏览器,还需要添加一个相应的驱动geckodriver:
下载地址:
https://github.com/mozilla/geckodriver/releases
放置位置:Ubuntu14.04:将其放到/usr/local/bin/目录下
Windows: python安装根目录(与python.exe 同一目录)
Mac: /user/local/bin/
以上操作完成后在spiders/spider.py中parse()方法接收到的response则是我们自定义中间件返回的结果,即触发JS生成后的界面。