python-获取前程无忧招聘信息

整体思路

       首先，我想要的数据是指定某个关键词后的搜索结果，需要的字段有“招聘岗位”“薪酬”“公司规模”“行业性质”等，在网上多方学习搜索后发现前程无忧的反p做的比较好，所以该程序主要通过selenium模拟人工访问浏览器的行为，主要分为两步，第一步是通过指定的关键词搜索后，借助selenium获取每页的信息并存储为html文件，第二步就是解析已经获取好的html文件，通过解析将相应的字段提取出来并导出为excel文件。分两步进行也可以避免在获取过程中出现异常中断而重新开始，因为selenium获取还是比较慢的，但是解析就很快，这样只要第一步获取完后面就不用担心出现异常重新开始浪费时间了。

代码实现

1.突破反p

       这个js是用来消除selenium特征，从而躲避反p，通俗点讲就是让代码更像人。

        篇幅受限，在资源包中统一导入即可，无需任何改动。

2.获取

       这一步骤中关键词可以由代码实现自动键入，也可以选择手动输入，同理限制行业地区等信息也可以手动或自动，selenium只是模拟翻页滑动的过程。

       其次，睡眠时间尽量不要太短，避免被检测到被认定为爬虫而出现异常。

       代码如下：

# -*- coding: utf-8 -*-

from selenium import webdriver
from selenium.webdriver import ChromeOptions
from time import sleep
import random
from selenium.webdriver.common.by import By


def main():
    for p in range(48): #括号中的数字需要人为预先查看，该搜索结果共有几页内容则修改为几
        p += 1
        print(f'爬取第{p}页')
        sleep(5 * random.random())
        for i in range(140):
            sleep(random.random() / 5)
            driver.execute_script('window.scrollBy(0,50)')
        res =