Python招聘网页的爬虫

近年来就业形势日益严峻，城市与大学生、人才供求间的紧张关系着实让大学毕业生承受着巨大的压力，但是很多大学生仍然选择毕业后先去工作。很多大学生知道自己现在的能力有限，经济不足，人脉不广。有些事情让大学生们明白了自我定位是多么的重要，这让大学生们只有一个明确的目的，就是毕业后，先去就业学到有价值的东西，然后利用学到的东西来实现自己的理想。但是找不到合适自己的工作岗位，这时就需要寻找招聘网，然后我们就想到了招聘爬虫这个网络爬虫，在网上进行寻找招聘的那些公司，可以查询到公司名字，地址，工资待遇，公司需要员工的工作经验和学历。


## @super
## @super
##                              城市id  地区id  职位             页码
# https://search.51job.com/list/010000,000000,0121,00,9,99,+,2,1.html
import json
import random
import time

import requests
from lxml import etree

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4421.5 Safari/537.36"
}
#模拟浏览器的请求标头，实现反反爬
golol_key = "java；python"



def handledata_kw(supername, secondname, citycode):
    #处理数据的一段函数
    print(supername, secondname, citycode)
    time.sleep(1)
    golols = {"index": 1}
    while True:
        time.sleep(random.uniform(1, 6))
        golols["index"] += 1
        try:
            url = f'https://search.51job.com/list/{citycode},000000,0000,00,9,99,{golol_key},2,{golol