Python爬取解放号外包需求案例，利用post参数多页爬取

 

 代码展示：

import requests
import csv
f = open('外包数据.csv',mode='a',encoding='utf-8',newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['标题','编号','开始时间','结束时间','价格','状态','类型','投标人数','详情页'])
def down_load(page):
    for page in range(1,page+1):
        url = 'https://www.jfh.com/jfportal/workMarket/getRequestData'

        data = {
            'putTime': '',
            'minPrice': '',
            'maxPrice': '',
            'isRemoteWork': '',
            'orderCondition': '0',
            'orderConfig': '1',
            'pageNo': str(page),
            'searchName': '',
            'fitCode': '0',
            'workStyleCode':'',
            'jfId': '235086452',
            'buId': '',
            'currentBuid': '',
            'jieBaoType': '',
            'login': '1',
            'city': '',
            'orderType': '',
            'serviceTypeKey':'',
            'webSite': '',
            'webSign': '',
            'source': '1'
        }

        headers = {'User-Agent':
                                       'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
                   'Referer':
                       'https://www.jfh.com/jfportal/market/index?m=b01'
                   }
        response = requests.post(url=url,data=data,headers=headers)
        json_data = response.json()
        for index in json_data['resultList']:
            index_url = f'https://www.jfh.com/jfportal/orders/jf{index["orderNo"]}'
            title = index['orderName']
            orderNo = index['orderNo']
            starttime = index['bidValidtime']
            endtime = index['formatOrderTime']
            price = index['price']
            status = index['bidValidTimeOut']
            techDirection = index['techDirection']
            bookCount = index['bookCount']
            csv_writer.writerow([title,orderNo,starttime,endtime,price,status,techDirection,bookCount,index_url])
down_load(100)

结果展示：

难点注意：观察不同页之间的差距，发现只有参数中pageno发生了变化。亲测有效，没有反爬，换个headers即可。