Python爬虫某招聘网站的岗位信息

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：阿尔法游戏

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun

故事又要从一个盆友说起

昨晚有个盆友 问我 爬虫学的怎么样了?

正当我不明所以之际，盆友的微信语音通话接了进来

友：“看你在学python，爬虫写的怎么样了呀，我想抓一下某招聘网站的数据，能帮我整一个吗，不行的话我也去看看”

我：“哦哦，你不是技术嘛，自己来嘛

友：“我不是没怎么接触过嘛”

我：“行，刚好我也学习下，周末有时间我帮你看下”

简单介绍下这个朋友吧，游戏圈某技术大拿，真大拿的那种！！

---

故事聊完了，咱们开工吧

1、前期准备

因为是爬虫，所以咱们需要用到如下几个库

• requests

• fake_useragent

• json

• pandas

Requests 的介绍是这样的： 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用

反正就是你用来获取网页数据需要用到的，本次咱们只需要用到get方法:

res=request.get(url)构造一个向服务器请求资源的url对象， 这个对象是Request库内部生成的， 这时候的res返回的是一个包含服务器资源的Response对象，包含从服务器返回的所有的相关资源。

fake_useragent 直译就是 假身份，作用和直译基本一样，是个表里不一的“人”

UserAgent是识别浏览器的一串字符串，相当于浏览器的身份证，在利用爬虫爬取网站数据时，频繁更换UserAgent可以避免触发相应的反爬机制。fake-useragent对频繁更换UserAgent提供了很好的支持，可谓防反扒利器。

json 就是上期我们本来打算介绍但是换了一个库实现的 用于处理json数据，可以将已编码的 JSON 字符串解码为 Python 对象

pandas 是我们的老朋友了，因为常和excel打交道，对表格的钟爱，所以pandas在这里主要作用只是将抓取的数据转化为dataframe型后导出成excel表

导入需要用到的库

import requests
from fake_useragent import UserAgent
import json
import pandas as pd
import time

2、任务分析

其实这步应该在 第1步 前期准备 之前，但是文档写到了这里，咱也不想回去了。

<