爬虫-中国招标投标公共服务平台数据下载(2019-08-07）

最新推荐文章于 2024-12-24 22:34:52 发布

当法律与事业相遇

最新推荐文章于 2024-12-24 22:34:52 发布

阅读量7.4k

点赞数 12

分类专栏： python爬虫文章标签：爬虫 java python

本文链接：https://blog.csdn.net/qq_29622761/article/details/98785522

版权

本文介绍了如何使用爬虫技术从中国招标投标公共服务平台抓取特定关键字（如银行）的招标公告信息，包括公告名称、所属行业、地区等字段，并提供了可以直接运行的代码详情。

摘要由CSDN通过智能技术生成

文章目录

前言

最近都在写java，但是呢我的博客似乎写了很多爬虫的文章。昨天，一个朋友发了需求给我，帮她改改代码，于是我就自己改了一下。以后还是多写一写数据平台研发的文章。
需求如下：

网站地址：http://bulletin.cebpubservice.com/
搜索关键字：银行
内容：招标公告
公告发布时间：后台自定义
渠道：全部
需要爬取的数据字段：招标公告名称、所属行业、所属地区、来源渠道、公告发布时间、距离开标时间、公告原文url（招标公告名称的链接）

代码详情

# coding:utf-8

import json
import os
import time
from copy import copy
import xlrd as xlrd
import xlwt as xlwt
from lxml import etree
import requests
import sys
from xlutils.copy import copy

class ZhaotoubiaopingtaiSpider():
    url = 'http://bulletin.cebpubservice.com/xxfbcmses/search/bulletin.html'
    wordkey = '银行'
    startcheckDate='2019-05-01'
    endcheckDate='2019-08-07'
    params={
        'searchDate': '1994-08-06',
        'dates':'300',
        'word': wordkey,
        'categoryId': 88,
        'startcheckDate': startcheckDate,
        'endcheckDate': endcheckDate,
        'industryName':'',
        'area':''
    }

    headers = {
        'Cookie': 'JSESSIONID=86C51A1A0546E2DA84226C777B97326E; acw_tc&