前言
爬取51job网站网络安全方面的数据-----不喜勿喷
以下是本篇文章正文内容,下面案例可供参考
一、python爬虫是什么?
网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。
二、使用步骤
1.引入库
import openpyxl
import bs4
import requests as r
import re
import threading[1]
2.构造请求头
h = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:8\
8.0) Gecko/20100101 Firefox/88.0"}
3.获取岗位链接地址列表
def get_joburllist():
joburllist = []
for i in range(1,34):
i += 1
url = "https://search.51job.com/list/010000,000000,0000,0\ 0,9,99,%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8,2,{}.html".format(i)
html = get_html(u