selenium完美实现拉勾网爬虫

最新推荐文章于 2022-04-25 00:21:00 发布

海螺烧香

最新推荐文章于 2022-04-25 00:21:00 发布

阅读量937

点赞数

分类专栏： python3爬虫

本文链接：https://blog.csdn.net/weixin_43141153/article/details/84836694

版权

本文介绍如何利用Selenium库进行动态网页爬取，以拉勾网为例，详细讲解设置webdriver、定位元素、模拟点击及数据提取等步骤，帮助读者掌握动态爬虫的实践技巧。

摘要由CSDN通过智能技术生成

from selenium import webdriver
from selenium.webdriver.support.ui import Select,WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from lxml import etree
import time
class LagouSpeider():
    def __init__(self):
        self.driver=webdriver.Chrome()
        self.url="https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput="
        self.position=[]
    def run(self):
        self.driver.get(self.url)
        while True:
            source = self.driver.page_source
            WebDriverWait(driver=self.driver,timeout=10).until(
                EC.presence_of_element_located((By.XPATH,'//div[@class="pager_container"]/span[last()]'))