目标网址:广东政府招标
声明:此内容仅为学习交流使用,不能作商业用途,如需提取相关信息请告知并说明用途,否则一切后果与本人无关。
首先爬取的内容:
分类字段也需要所以要把每个分类做一个字典:
subclass_dict ={
"采购意向公开":"59",
"单一来源公示":"001051",
"进口产品清单":"",
"采购计划":"001101",
"采购需求":"001059",
"资格预审需求":"001052,001053",
"采购公告":"00101",
"中标(成交)结果公告":"00102",
"更正公告":"00103",
"终止公告":"001004,001006",
"合同公告":"001054",
"验收公告":"001009,00105A"
}
获取数据这是一个GET请求,参数:
当然,后面还有时间段需要传入大概就写成:
item["channel"] = '07be11ca-1511-451f-afbb-6a2cb1e990d1' if k == "进口产品清单" else 'fca71be5-fc0c-45db-96af-f513e9abda9d'
yield scrapy.Request(
url=self.start_urls[0].format(item["channel"],item["page"],v,yesterday_format,now_time),
#"2019-12-01"
headers=headers,
callback=self.parse,
meta=copy.deepcopy(item)
翻页操作:
#页面内容少于10条,则退出
if item["heigth"] < 9:
return