51job（前程无忧）网站爬虫

最新推荐文章于 2021-09-03 16:12:41 发布

旧火车

最新推荐文章于 2021-09-03 16:12:41 发布

阅读量1.8k

点赞数 1

分类专栏： python 文章标签： selenium python xpath

本文链接：https://blog.csdn.net/weixin_43729137/article/details/108756837

版权

本文介绍如何利用Python的Selenium库配合XPath解析器，爬取51job（前程无忧）网站上的职位数据，详细阐述了爬虫实现过程和技术要点。

摘要由CSDN通过智能技术生成

爬取网站：前程无忧网站

from selenium import webdriver
from selenium.webdriver import ChromeOptions
import time
import csv

option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-logging'])
driver=webdriver.Chrome(options=option)
driver.implicitly_wait(10)

#爬取51job网站获得相关岗位信息
driver.get('https://www.51job.com/')
#csv
fp = open('qcwy.csv', 'wt', newline='', encoding='utf-8'