matlab无效存储块长度,解压缩时出现错误3:存储的块长度无效

我正在抓取一个网站,它包含许多网址,从中O需要获取数据。

我使用XPath获取了所有的hrefs(url)并保存到一个列表中。我把这个单子圈起来,提出了一个请求。下面是我的蜘蛛代码class ExampledotcomSpider(BaseSpider):

name = "exampledotcom"

allowed_domains = ["www.example.com"]

start_urls = ["http://www.example.com/movies/city.html"]

def parse(self, response):

hxs = HtmlXPathSelector(response)

cinema_links = hxs.select('//div[@class="contentArea"]/div[@class="leftNav"]/div[@class="cinema"]/div[@class="rc"]/div[@class="il"]/span[@class="bt"]/a/@href').extract()

for cinema_hall in cinema_links:

yield Request(cinema_hall, callback=self.parse_cinema)

def parse_cinema(self, response):

hxs = HtmlXPathSelector(response)

cinemahall_name = hxs.select('//div[@class="companyDetails"]/div[@itemscope=""]/span[@class="srchrslt"]/h1/span/text()').extract()

........

例如,在这里,我在列表中有60个url,对于大约37个url没有下载:对于这些url,出现了一条错误消息:2012-06-06 14:00:12+0530 [exampledotcom] ERROR: Error downloading : Error -3 while decompressing: invalid stored block lengths

2012-06-06 14:00:12+0530 [exampledotcom] ERROR: Error downloading : Error -3 while decompressing: invalid stored block lengths

只有对一些网址刮是下载,其余的,我不明白发生了什么,我的代码有什么问题。

有人能建议我如何消除这些错误吗?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值