Python爬虫实战，requests模块，Python实现拉勾网求职信息数据分析与可视化

最新推荐文章于 2021-11-19 18:35:53 发布

小雁子学Python

最新推荐文章于 2021-11-19 18:35:53 发布

阅读量2.9k

点赞数 8

分类专栏： Python技术分享文章标签： python爬虫拉勾网数据可视化

本文链接：https://blog.csdn.net/weixin_43649691/article/details/121303550

版权

本文介绍了使用Python的requests模块爬取拉勾网求职信息，详细阐述了请求、分析、添加headers、解析翻页及数据存入csv文件的过程。通过pyecharts进行数据可视化，分析了薪资分布、工作地点、学历要求、工作经验和职位研究方向等关键信息。

摘要由CSDN通过智能技术生成

前言

利用requests爬取拉勾网求职信息数据分析与可视化，废话不多说。

让我们愉快地开始吧~

开发工具

**Python版本：**3.6.4

相关模块：

requests模块；

re模块；

os模块

jieba模块；

pandas模块

numpy模块

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

爬取拉勾网求职信息

1.requests 请求，获取单页面

# 我们最常用的流程：网页上复制url->发送get请求—>打印页面内容->分析抓取数据 
# 1.获取拉钩网url 
req_url = 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=' 
# 2.发送get请求 
req_result = requests.get(req_url) 
# 3.打印请求结果 
print(req_result.text)

输出结果如下

<html>  
    <head>     
        <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="renderer"  content="webkit">     
        <meta http-equiv="Content-Type" content="text/html; charset=utf-8">  </head>  
 <script type="text/javascript" src="https://www.lagou.com/utrack/trackMid.js?version=1.0.0.3&t=1529144464"></script>  
 <body>   
  <input type="hidden" id