python跳转下一页_我怎么能跳转到下一页呢

我已经设置了从起始网址获取下一页的规则,但它不起作用,它只抓取起始网址页面和该页面中的链接(使用parseLinks)。它不会转到规则中设置的下一页。在

有什么帮助吗?在from scrapy.contrib.spiders import CrawlSpider, Rule

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor

from scrapy.selector import Selector

from scrapy import log

from urlparse import urlparse

from urlparse import urljoin

from scrapy.http import Request

class MySpider(CrawlSpider):

name = 'testes2'

allowed_domains = ['example.com']

start_urls = [

'http://www.example.com/pesquisa/filtro/?tipo=0&local=0'

]

rules = (Rule(SgmlLinkExtractor(restrict_xpaths=('//a[@id="seguinte"]/@href')), follow=True),)

def parse(self, response):

sel = Selector(response)

urls = sel.xpath('//div[@id="btReserve"]/../@href').extract()

for url in urls:

url = urljoin(response.url, url)

self.log('URLS: %s' % url)

yield Request(url, callback = self.parseLinks)

def parseLinks(self, response):

sel = Selector(response)

titulo = sel.xpath('h1/text()').extract()

morada = sel.xpath('//div[@class="MORADA"]/text()').extract()

email = sel.xpath('//a[@class="sendMail"][1]/text()')[0].extract()

url = sel.xpath('//div[@class="contentContacto sendUrl"]/a/text()').extract()

telefone = sel.xpath('//div[@class="telefone"]/div[@class="contentContacto"]/text()').extract()

fax = sel.xpath('//div[@class="fax"]/div[@class="contentContacto"]/text()').extract()

descricao = sel.xpath('//div[@id="tbDescricao"]/p/text()').extract()

gps = sel.xpath('//td[@class="sendGps"]/@style').extract()

print titulo, email, morada

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值