python爬虫可视化web展示_基于Python爬虫的职位信息数据分析和可视化系统实现

1. 引言

在这个新时代，人们根据现有的职位信息数据分析系统得到的职位信息越来越碎片化，面对收集到的大量的职位信息数据难以迅速地筛选出对自己最有帮助的职位信息，又或者筛选出信息后不能直观地看到数据的特征、一般规律、变化的趋势或者数据之间潜在联系。本文致力于解决将获取到的数据进行有效的筛选和从多个角度可视化分析，借助Python爬虫技术模拟浏览器访问职业信息网站，爬取大量数据，用Pandas实现数据清洗，用Pyecharts实现数据可视化，用其提供的较为轻量级的Flask框架将可视化结果呈现在Web页面。前端实现采用了Html、CSS、JavaScripts，完成了用户和系统之间的交互 [2]。

2. 总体设计

基于Python + Pyecharts + Flask的职位信息可视化系统设计与实现，要求实现数据爬取功能，数据清洗功能，数据可视化功能。实现对前程无忧职位信息的数据采集、清洗后存入Excel表中，再推送至MySQL数据库中，结合Pyecharts组件，实现数据到可视化图表的转换，后台采用Flask框架实现接口功能，将可视化的图表推送至前端。用户登录注册后在首页面上可查看Excel表中数据详情以及可视化后的图表信息。将近期发布的招聘信息存入MySQL数据库中，显示在首页，可供用户简单搜索，查看详情。简单系统总体架构设计如图1所示。

3. 详细设计

3.1. 数据获取

爬取前程无忧网站大数据职位相关数据，防止不是通过浏览器正常访问会被网站禁止访问的问题，手动在header里加上UA属性，伪装成浏览器进行访问 [3]。打开网页开发者模式，进入Network里的Headers找到自己浏览器的UA属性，构造header方法如下：

header={

(1)'Host':需要访问的网站信息，

(2) 加入访问请求，

(3) 'User-Agent':浏览器的UA属性} [4]。

接收到URL地址的HTML页面后采用正则表达式进行匹配字符串利用双层循环来实现换页爬取与换行输出 [5] [6]，获取数据，保存到Excel表格中。

Figure 1. Overall