python爬取51job网络安全方面数据

文章目录

前言

一、python爬虫是什么？

二、使用步骤

1.引入库

2.构造请求头

3.获取岗位链接地址列表

4.获取网页源码

5.获取需要的岗位信息--进行异常捕获

6.保存需要的岗位信息到excel表中

7.main

总结

前言

爬取51job网站网络安全方面的数据-----不喜勿喷

---

以下是本篇文章正文内容，下面案例可供参考

一、python爬虫是什么？

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。

二、使用步骤

1.引入库

import openpyxl
import bs4
import requests as r
import re
import threading[1]

2.构造请求头

h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:8\
8.0) Gecko/20100101 Firefox/88.0"}

3.获取岗位链接地址列表

def get_joburllist(): 
    joburllist = [] 
    for i in range(1,34): 
        i += 1 
        url = "https://search.51job.com/list/010000,000000,0000,0\                            0,9,99,%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8,2,{}.html".format(i) 
        html = get_html(u