Python网络爬虫（一）：爬取51job前程无忧网数据并保存至MongoDB数据库

Python网络爬虫（一）：爬取51job前程无忧网数据并保存至MongoDB数据库

前言

参考博客： link.Python爬虫(7):多进程抓取拉钩网十万数据:
版本：Python3.7
编辑器：PyCharm
数据库：MongoDB

整体思路：

1.网页解析，查找所需信息的位置
2.开始网页爬取
3.爬取结果存入MongoDB数据库

爬虫

1.网页解析

打开网页后发现共有四大类求职岗位，分别是：互联网/电子商务、金融/投资/证券、汽车及零配件、房地产。打开开发者工具，查看四大类求职岗位的地址。

如：进入“互联网/电子商务”该类，对具体岗位信息进行查找。以当时网页第一个职位—“大客户销售”为例，可以发现我们所需的信息即职位、公司、所在地、薪水、发布日期。
前期准备工作完成，下面就开始爬虫了。

2.网页爬取

整个爬虫项目分为四个部分：主程序、MongoDB信息配置、网页索引、职位爬取与保存

1）.主程序

# -*- coding:utf-8 -*-
import time
from multiprocessing import Pool
from job_spider import parse_link
from job_indexspider import parse_index


def main(data):
    url = data['url']
    print(url)
    mongo_table = data['name']
    if mongo_table[0] == '.':
        mongo_table = mongo_table[1:]
    parse_link(url, mongo_table)


if __name__ == '__main__':
    t1 = time.time()
    pool = Pool(processes=4)
    datas = (data for data in parse_index())
    pool.map(main, datas)
    pool.close()
    pool.join()
    print(time.time() - t1)

2）.MongoDB信息配置

# 配置数据库信息
MONGO_URL = 'localhost' # 数据库地址
MONGO_DB = '51job'      # 数据库名称

3）.网页索引

通过四大类：互联网/电子商务、金融/投资/证券、汽车及零配件、房地产的网页地址跳转至具体的岗位信息

# -*- coding:utf-8 -*-