我爬取了爬虫岗位薪资，分析后发现爬虫真香！

最新推荐文章于 2023-09-15 10:32:46 发布

pythonlaodi

最新推荐文章于 2023-09-15 10:32:46 发布

阅读量2.7k

点赞数 2

分类专栏： Python 文章标签：可视化乱码 python 数据分析 csv

本文链接：https://blog.csdn.net/pythonlaodi/article/details/111035782

版权

本文作者闲逛招聘网站时发现爬虫岗位薪资诱人，决定爬取并分析。通过Python爬取相关数据，存储为CSV，然后进行数据可视化，包括岗位名称、城市分布和薪资情况。分析结果显示，大城市爬虫岗位需求大，薪资集中在20000以上，特别是20000左右的薪资占比高，展示了爬虫岗位的吸引力。

摘要由CSDN通过智能技术生成

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

首先，确定目标网站：

https://jobs.51job.com/pachongkaifa

打开pycharm，新建文件->导入必备的库->加入常用的请求头header

# 导入requests包
import requests
from lxml import etree
# 网页链接
url = "https://jobs.51job.com/pachongkaifa/p1/"
# 请求头
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Cookie": "guid=7e8a970a750a4e74ce237e74ba72856b; partner=blog_csdn_net",
"Host": "jobs.51job.com",
"Sec-Fetch-Dest": "document",
"Sec-Fetch-Mode": "navigate",
"Sec-Fetch-Site": "none",
"Sec-Fetch-User": "?1",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36"
}