以下内容为实现在招聘网站爬取某个岗位的招聘信息,使用requests方式获取信息。首先导入需要用到的包
import csv
import json
from queue import Queue
from re import findall
import requests
from threadPool import ThreadPool, makeRequests
定义一个获取网页信息的函数,headers中需要修改User-Agent的信息,模拟用户登陆。如果返回的状态码是200,说明获取页面成功,再调用analysis_data函数提取想要的信息。
def get_net_data(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200: