python获取的网页的js_Web-用Python抓取JavaScript页面

在普通的蜘蛛中，您可以使用请求对象来打开URL。如果要打开的页面包含JS生成的数据，则必须使用SplashRequest(或SplashFormRequest)来呈现页面。下面是一个简单的例子：class MySpider(scrapy.Spider):

name = "jsscraper"

start_urls = ["http://quotes.toscrape.com/js/"]

def start_requests(self):

for url in self.start_urls:

yield SplashRequest(

url=url, callback=self.parse, endpoint='render.html'

)

def parse(self, response):

for q in response.css("div.quote"):

quote = QuoteItem()

quote["author"] = q.css(".author::text").extract_first()

quote["quote"] = q.css(".text::text").extract_first()

yield quote

SplashRequest将URL呈现为html，并返回您可以在回调(解析)方法中使用的响应。