爬虫没有数据结果
小白学python爬虫,使用scrapy框架进行爬取网站数据,遇到爬取数据的时候没有返回的结果,代码是根据视频里的老师敲的,看着挺简单的一个程序,网上看了很多方法都没解决,求大神帮助。
这是代码
#-- coding: utf-8 --
import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList
class SpiderDxysSpider(scrapy.Spider):
name = ‘spider_dxys’
allowed_domains = [‘dxy.com/search/health’]
start_urls = [f’https://dxy.com/view/i/recommend/referral/list?{page_index}&items_per_page=5&q=%E6%8A%91%E9%83%81%E7%97%87&spell_check=false&postcode=000001/’ for page_index in range(1,6)]
def parse(self, response):
# selectorList
hospitaldivs=response.xpath("//div[@id='comment-item']/div")
# hospitaldivs = response.xpath('.//div')
# Selector
for hospitaldiv in hospitaldi