爬虫实战：爬取前程无忧（51job）python相关职位信息

最新推荐文章于 2024-05-01 22:08:22 发布

D_ry

最新推荐文章于 2024-05-01 22:08:22 发布

阅读量1.2k

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_36936510/article/details/88842111

版权

本文介绍了如何使用Python爬虫技术，详细解析爬取前程无忧（51job）网站上的Python相关职位信息，包括职位名称、公司、薪资等关键数据，从而实现对招聘信息的有效抓取和分析。

摘要由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
import re
import time

requests.adapters.DEFAULT_RETRIES = 3
strat_url = 'https://search.51job.com/list/030000%252C00,000000,0000,00,9,99,python,2,1.html'
ua = {
   'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}
resp = requests.get(strat_url,headers = ua)
resp.encoding = 'gb2312'
pages = int(re.findall(r'共(\d+)页',resp.text)[