基于scrapy框架的腾讯招聘信息网络爬虫设计与实现

收藏关注不迷路

---

前言

  摘要：随着网络科技技术的快速增长，网络数据已经成为一种极其重要的资源。如今的一个研究热点是如何快速和有效率地寻找、提取、分析数据。对于这些方法，运用Python的Scrapy框架可以设计出网络爬虫，对网络数据进行提取分析。先分析网站源代码，之后设计出相应的表达式来提取需要用到的数据，提取结束之后将数据保存进数据库里。
本课题是一个基于scrapy分布式爬虫针对腾讯招聘网站数据的抓取系统，为数据进一步操作做数据支持。设计系统使用Python的Scrapy框架，根据网页分析得到json数据包，然后使用json.load（）对下载的网页数据转化为python数据再提取，依靠Redis数据库实现分布式的功能，将数据存储进mysql数据库里，设计以及完成了针对腾讯招聘职位信息的分布式网络爬虫。
  关键词：爬虫，scrapy框架，腾讯招聘

一、功能介绍

  本项目主要抓取腾讯招聘网站里有价值的数据，利用Scapy框架爬取腾讯招聘官方网站主页上刊登的招聘信息。例如，其中网页链接、职位名称、职位职责、职位职责、职位利用现有技术在项目中免除注册，实现了多个目标，如要求、地点和发布时间等。同时对爬取得的数据进行初步筛选，除去多余的信息，除了可以节省当地空间外，数据科学家对数据进行两次清洗、精制，从而得到更有价值的信息。本项目对爬虫类的作用机构和设计模式进行了优化。同时采用了适当的设计模式，可以及时将内存数据导入数据库，大幅减少了内存资源的占用。

二、开发环境

开发语言：Python， scrapy框架
软件版本：python3.7/python3.8
数据库工具：Navicat11
开发软件：PyCharm/vs code

————————————————

三、程序流程设计

网络爬虫的爬取对象

本文实现的网络爬虫是爬取腾讯招聘网站招聘信息，爬取招聘网站的的一级页面，里面包含职位名称、职位类别以及工作地点等，之后再通过分析将每个职位的二级页面爬取下来ÿ