定义函数多线程爬取51job

1、导入需要使用的模块

51job网址

import requests
import chardet
from bs4 import BeautifulSoup
import csv
from openpyxl import Workbook

2、定义函数抓取数据

def getOnePageInfo(url):
    # 访问链接
    res=requests.get(url,
                     headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
                    )
    # 转为beautifulsoup对象
    soup=BeautifulSoup(res.text,'html.parser')
    # 那么我们只能按照实际得到的对象来找信息
    allstring=soup.find_all('script')[-4].string
    # allstring=soup.find_all('script')[-4].text
    # 第二种：使用 = 分割1次， 的第二个值就是所有数据
    data=allstring.split('=',1)[-1]
    # 第二种方法: 
    index=allstring.find('{')
    data2=allstring[index:]
    # 1使用eval()将字符串转换为相关数据
    dict_data=eval(data)
    #创建bigdata列表
    bigdata = []
    for each in dict_data['engine_search_result']:
        oneInfo=[]
        # 职位名 job_name
        oneInfo.append(each.get('job_name'))
        # 公司名 commpany_name
        oneInfo.append(each.get('company_name'))
         # 薪资 providesalary_text
        oneInfo.append(each.get('providesalary_text'))
        # 工作地点 workarea_text
        oneInfo.append(each.get('workarea_text'))
        # 发布日期 updatedate
        oneInfo.append(each.get('updatedate'))
        # 公司类型 companytype_text
        oneInfo.append(each.get('companytype_text'))
        # 额外信息 attribute_text
        oneInfo.append(str(each.get('attribute_text')))
        # 所属行业 companyind_text
        oneInfo.append(each.get('companyind_text'))
        #将最后一条信息放入bigdata
        bigdata.append(oneInfo)       
    return bigdata

3、存储二位列表

# 存储二维列表专用类
class MySave():
    def __init__(self):
    #存储到csv
    def saveToCsv(self,data,fileName:str,mode='w'):
        with open(fileName,mode=mode,encoding='utf-8',newline='')as f:
            csvfile=csv.writer(f)
            #写入data
            for each in data:
                csvfile.writerow(each)
            print(fileName,'存储完成')
    #存储到Excel
    def saveToExcel(self,data,fileName):
        #实例化工作簿对象
        wb=Workbook()
        #准备工作表
        sheet=wb.active
        #写入数据
        for each in data:
            sheet.append(each)
        wb.save(fileName)
        print(fileName,'存储完成')

4、实例化对象

#实例化对象
save=MySave()

5、抓多页

import random
import time
#抓多页
def getImageSrc(start,end):
    for i in range(start,end):
        #设定休眠时间
        time.sleep(random.randint(3,5))
        #拼接链接
        url=f'https://search.51job.com/list/000000,000000,0000,00,9,99,+,2,{i}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='
        print(f'正在抓取第{i}页')
        #运行函数访问url，返回数据
        data=getOnePageInfo(url)
        #存储到csv
        save.saveToCsv(data,'51job数据.csv','a')

6、导入多线程模块

import threading

7、设置多线程

t1 = threading.Thread(target=getImageSrc , args=(1,50))
t2 = threading.Thread(target=getImageSrc , args=(50,100))
t3 = threading.Thread(target=getImageSrc , args=(100,150))
t4 = threading.Thread(target=getImageSrc , args=(150,200))
# t5 = threading.Thread(target=getImageSrc,args=(400,500))

t1.start()
t2.start()
t3.start()
t4.start()
# t5.start()
print('结束')