Python+selenium获取BOSS招聘信息最新

最新推荐文章于 2024-05-26 18:32:46 发布

走在下雨天的人

最新推荐文章于 2024-05-26 18:32:46 发布

阅读量421

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_42988748/article/details/105175620

版权

久了没有动，感觉挺难受的，听过各大网站都加强了反爬措施，今天来试试BOSS

直接selenium搞起，这不还真遇到了问题
在这里插入图片描述

一经查看原来是增加了selenium检测啊

还难不倒我，配置浏览器设置参数即可解决
直接上代码

# -*- coding:utf-8 -*-
'''
BOSS招聘爬取
'''

from selenium import webdriver
import csv
import requests
from lxml import etree

class BossSpider:

    def __init__(self):
        self.options = webdriver.ChromeOptions()
        # 绕过网站检测爬虫
        self.options.add_experimental_option('excludeSwitches', ['enable-automation'])
        # 不加载图片
        self.options.add_argument('blink-settings=imagesEnabled=false'