基于python爬虫的职位推荐系统的设计与实现

源码获取：https://www.bilibili.com/video/BV1Ne4y1g7dC/

现如今，随着互联网的发展，人们获取信息的方式也各有不同。以前的传统方式的信息流与电视，报纸，书籍，信件，等等，因为互联网的使用，现在的互联网媒体已经成为人们获取信息的最重要来源。更新互联网，让人们得到最新、最完整的信息变得越来越容易。

随着计算机存储能力的提升和复杂算法的发展,近年来数据量呈指数级发展。各行各业的决策正从“业务驱动”转变为“数据驱动”。我们应该利用大数据的海量处理与智能分析能力,准确抓取时代热点数据。当今,迫切需要一种高效率、分析系统。在此基础上本文重点分析了基于爬虫的职位推荐系统的设计,以及设计过程中的技术线路。

本程序使用python编写，基于flask的轻量级web应用框架，数据库采用mysql设计，百度echarts进行数据可视化显示。数据爬取使用经典的requests、urllib包进行数据爬取，爬取的网站为拉勾网，拉勾网有较强的反爬机制，采用cookie的形式进行封装，再进行数据获取。获取的数据解析后存储到mysql数据库，然后使用pymysql包连接mysql将查询的数据展示到页面。

关键词：python框架；echarts；MySQL