个人笔记-爬虫爬取工作职位

@莫等闲

于 2021-10-31 11:23:01 发布

阅读量874

点赞数 1

分类专栏： Python 文章标签：爬虫 python 数据挖掘

本文链接：https://blog.csdn.net/Cloud_Wzh/article/details/121037434

版权

该博客介绍了一个使用Python爬虫从职友集网站抓取热门城市和关注岗位的数据过程。涉及的城市和岗位分别从配置文件读取，数据包括岗位名称、经验、学历、薪资、公司、浏览量、行业、公司规模和城市，并以指定路径txt文件存储，每爬取完一页数据后休眠5秒。内容涵盖了网页请求、解析和存储的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

个人笔记-爬虫

1、通过职友集网站（https://www.jobui.com/）爬取热门城市及关注岗位数据
2、数据采集信息包括：岗位名称，经验、学历、薪资、公司、浏览量、行业、公司规模、城市

要求：
a、热门城市和关注岗位分别用两个配置文件（txt）进行读取
b、指定路径进行txt文本输出
c、每页数据爬取后休眠5秒钟

# 爬虫基本五步骤：
        # 添加爬虫依赖库
        # 读取网页内容
        # 解析网页内容
        # 数据的存储
        # 循环解析网页请求
# 【1】添加爬虫依赖库
# 网页请求库
import requests
# 网页解析库
from bs4 import BeautifulSoup
import time
# 【2】读取网页内容
def get(city, job, page):
    url = f'https://www.jobui.com/jobs?jobKw={
     job}&cityKw={
     city}&n={
     page}'
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}
    response = requests.get(url, headers=headers)
    # print(response.text)
    return response.text


# 【3】解析网页内容