基于Python的拉勾网Python工程师招聘信息的爬取和处理分析

舒小羽

已于 2024-05-30 17:08:25 修改

阅读量5.6k

点赞数 18

分类专栏： Python 文章标签： python 数据分析大数据

于 2019-12-16 12:29:20 首次发布

本文链接：https://blog.csdn.net/qq_43680027/article/details/103530082

版权

该项目使用Python爬虫抓取拉勾网Python工程师职位数据，进行数据清洗和可视化分析，包括城市职位分布的柱状图和公司福利的词云图。项目采用GUI界面，实现搜索功能，并讨论了项目的技术栈和需求分析。

摘要由CSDN通过智能技术生成

一、项目简介

该项目是基于Python的拉勾网Python工程师招聘信息的爬取和处理分析，利用Python写了爬虫去获取拉勾网的招聘信息，然后进行数据可视化分析，最后用一个GUI页面串起整个项目。

1、项目完成的功能

项目完成了以下几个主要功能：
①数据的爬取、过滤与清洗：爬取拉勾网在中国范围内关于python工程师职位相关的数据信息，过滤后存储公司全名、公司福利、城市字段的内容，将数据存入.csv文件，然后对.csv文件相关字段的数据进行清洗。
②数据的可视化展示：使用GUI页面展示项目，使用柱状图展示中国各个城市的职位数量，使用词云图展示公司福利，还可以通过指定城市搜索相关内容。

2、项目完成的特色

该项目的主要特色有以下四点：
①项目采用了GUI页面展示，能使用户更加直观方面的观察到数据，而且为项目中的搜索功能设置了提示框，能够让用户的更好理解代码所返回的内容。
②由于项目所爬取的拉勾网有反爬虫机制，所以项目采用了代理IP技术和休眠技术，文明爬取。
③该项目主要是分析公司的所在城市及福利，而且拉勾网的职位相关信息量过于庞大，所以保存信息时进行了分别、过滤，只保存了与项目相关的字段，大大减少了信息量，也减少了代码爬取的时间。
④数据的可视化采用了词云图，而且把词云图的背景替换成了Python的标志，更好的将项目所采用的技术与项目内容相结合。

3、项目采用的技术栈

1、Python：版本为 Python3.6。
2、requests: 爬虫的主要技术之一，用于抓取网页的数据。
3、pandas：进行数据分析并保存为csv文件。
4、matplotlib：进行数据可视化，绘制饼图。
5、wordcloud、jieba：生成中文词云。
6、tkinter：生成GUI页面。

二、项目的需求分析

需求分析就是分析用户的需要与要求，影响着设计的过程和开发的方向。需求分析是对项目的功能需求等方面进行分析评估，在项目开发完成后，需要检查是否完成了之前分析的所要完成的功能，是否符合用户的需求。需求分析是在开发项目的前期需要做的功能，也是不可或缺的一个过程。

1、项目的功能需求分析

本项目是在分析了Python能做的事情以后，找到了一个有意义的课题去做的一个项目。本项目，不仅仅只有一些分析，还考虑到了如何更好的展示给用户看。
本项目大致分为三个功能（用户角度）：饼状图分析职位数量、词云图展示公司福利、搜索特定城市信息。每个功能既相互独立又互有联系。
项目需要使用Python爬虫爬取拉勾网全国站的招聘关键词：Python工程师。出现了每页15条、30页的招聘信息，总职位条数：450条，其中包括公司全名,公司简称,公司规模,融资阶段,区域,职位名称,工作经验,学历要求,薪资,职位福利,经营范围,职位类型,公司福利,第二职位类型,城市等14个字段列。
由于是做一个小型的项目，且考虑到全部爬取得信息量太大，所以选取了用户最关心的数据进行了分析。当提到工作时，最先要解决的便是在哪个城市工作，所以本项目主要针对公司所在的城市进行一个信息爬取与分析，希望能为要找工作的用户提供一些在城市选取上的建议。譬如很多用户就会想知道各个城市的招聘数量分布情况，会担心会不会大部分的工作机会都集中在北上广深。所以，本项目是在分析了招聘的现状、特点，专门围绕着招聘的公司所在的城市设计的。

2、项目的非功能需求分析

系统性能需求

在系统性能方面，项目的日常运行对硬件没有太大的要求，但是爬取的数据量较多，所有会有很大的数据量和并发资源的占用，所以在硬件必须要具备强大的计算能力和存储能力，要具有较高的访问效率，以此保证系统良好的性能。

系统观感需求（界面需求）

系统采用了GUI页面，整体风格美观简洁，操作简单易懂，用户使用方便。

三、项目UML图

1、项目功能架构图

在这里插入图片描述

2、项目主要功能流程图

城市分布分析功能流程图
在这里插入图片描述

公司福利分析功能流程图
在这里插入图片描述

城市搜索功能流程图
在这里插入图片描述

四、项目模块

1、数据爬取、过滤与清洗

数据来源：拉勾网 https://www.lagou.com/
由于拉勾网有反爬虫机制，同时也为了防止频繁请求一个网站而被限制ip，所以设置了一个代理IP（你也可以选择设置IP池）和在爬取一页代码后选择睡（sleep（））一段时间。
SJ_LGW()

import requests
import math
import time
import pandas as pd
from urllib import request


def getjson(url, num):  # 传入两个参数url，页数
    """
    从指定的url中通过requests请求携带请求头和请求体获取网页中的信息,
    :return:
    """
    # 另外一种方法
    # handler = request.ProxyHandler({
   "https":"222.76.74.183:41309"})
    # opener = request.build_opener(handler)
    proxies_ip = {
   "http": "https://222.76.74.183:41309"}  # 代理ip
    url1 = 'https://www.lagou.com/jobs/list_python%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88?labelWords=&fromSearch=true&suginput='  # 关键词python开发工程师
    # 模拟浏览器
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
        # 'Host': 'www.lagou.com',
        'Referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=',
        # 'X-Anit-Forge-Code': '0',
        # 'X-Anit-Forge-Token': 'None',
        # 'X-Requested-With': 'XMLHttpRequest'
    }
    data = {
   
        'first': 'true',
        'pn': num,  # 页数
        'kd': 'python工程师'}  # 关键字
    s = requests.Session()
    print('建立session：', s, '\n\n')
    s.get(url=url1, headers=headers, proxies=proxies_ip, timeout=3)  # 3秒内没有从基础套接字上接收到任何字节的数据时，将返回异常
    cookie = s.cookies
    print('获取cookie：', cookie, '\n\n')
    res = requests.post(url, headers=headers, proxies=proxies_ip, data=data, cookies=cookie, timeout=3)
    # res = opener.post(url, headers=headers,proxies=proxies, data=data, cookies=cookie, timeout=3)
    res.raise_for_status()  # 响应码抓取 正常为