python实战案例：采集招聘数据，知晓现今岗位要求

前言

嗨喽！大家好呀~

今天我们来采集专业的互联网求职招聘网站

致力于提供真实可靠的互联网岗位求职招聘找工作信息

环境介绍：

• python 3.8
• pycharm 2021.2 专业版 激活码

模块使用:

内置模块:

• import pprint >>> 格式化输入模块
• import csv >>> 保存csv文件
• import re >>> re 正则表达式
• import time >>> 时间模块
• import json >>> json

第三方模块:

• import requests >>> 数据请求模块 pip install requests

win + R 输入cmd 输入安装命令 pip install 模块名 如果出现爆红 可能是因为 网络连接超时 切换国内镜像源

如何实现一个爬虫案例(爬虫基本流程思路):

一. 数据来源分析

1. 确定自己想要获取数据是什么?
   爬取是什么网站, 网上上面什么数据
2. 通过开发者工具, 进行抓包分析, 分析我们想要数据是来自于哪里

二. 代码实现步骤过程: 最基本四个步骤 发送请求，获取数据，解析数据，保存数据

1. 发送请求, 对于刚刚分析的到url地址发送get请求 (并且模拟浏览器发送请求)
2. 获取数据, 获取服务器返回response响应数据
3. 解析数据, 提取我们想要数据内容, 招聘信息基本数据
4. 保存数据, 把数据保存本地 表格

1、get 是从服务器上面获取数据 post 是向服务器传送数据

2、get请求参数,会直接显示在url链接上面, post在请求体里面的 隐性传递

代码

# # 导入数据数据请求模块
# import requests  # 第三方模块 需要 pip install requests
# # 导入正则
# import re
# import json
# # 导入格式化输出模块
# import pprint
# # 导入csv模块
# import csv
#
# f = open('招聘.csv', mode='a', encoding='utf-8', newline='')
# csv_writer = csv.DictWriter(f, fieldnames=[
#     '职位名字',
#     '公司名字',
#     '工作城市',
#     '学历要求',
#     '经验要求',
#     '薪资待遇',
#     '公司地址',
#     '公司规模',
#     '详情页',
# ])
# csv_writer.writeheader()  # 写入表头
# for