前言
嗨喽!大家好呀~
今天我们来采集专业的互联网求职招聘网站
致力于提供真实可靠的互联网岗位求职招聘找工作信息
环境介绍:
- python 3.8
- pycharm 2021.2 专业版 激活码
模块使用:
内置模块:
- import pprint >>> 格式化输入模块
- import csv >>> 保存csv文件
- import re >>> re 正则表达式
- import time >>> 时间模块
- import json >>> json
第三方模块:
- import requests >>> 数据请求模块 pip install requests
win + R 输入cmd 输入安装命令 pip install 模块名 如果出现爆红 可能是因为 网络连接超时 切换国内镜像源
如何实现一个爬虫案例(爬虫基本流程思路):
一. 数据来源分析
- 确定自己想要获取数据是什么?
爬取是什么网站, 网上上面什么数据- 通过开发者工具, 进行抓包分析, 分析我们想要数据是来自于哪里
二. 代码实现步骤过程: 最基本四个步骤 发送请求,获取数据,解析数据,保存数据
- 发送请求, 对于刚刚分析的到url地址发送get请求 (并且模拟浏览器发送请求)
- 获取数据, 获取服务器返回response响应数据
- 解析数据, 提取我们想要数据内容, 招聘信息基本数据
- 保存数据, 把数据保存本地 表格
1、get 是从服务器上面获取数据 post 是向服务器传送数据
2、get请求参数,会直接显示在url链接上面, post在请求体里面的 隐性传递
代码
# # 导入数据数据请求模块
# import requests # 第三方模块 需要 pip install requests
# # 导入正则
# import re
# import json
# # 导入格式化输出模块
# import pprint
# # 导入csv模块
# import csv
#
# f = open('招聘.csv', mode='a', encoding='utf-8', newline='')
# csv_writer = csv.DictWriter(f, fieldnames=[
# '职位名字',
# '公司名字',
# '工作城市',
# '学历要求',
# '经验要求',
# '薪资待遇',
# '公司地址',
# '公司规模',
# '详情页',
# ])
# csv_writer.writeheader() # 写入表头
# for