python系列25:使用selenium进行自动化网页操作

1. 背景

python中requests发送请求后,没有办法执行里面的javascript代码,因此有很多信息会爬取不到。这里有个自动化测试的工具selenium,可以模拟网页打开的过程。使用pip install即可安装。

2. 使用方法

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions()
options.add_argument("--headless") 
options.add_argument("start-maximized")

# 这里要去官网上下载chromedriver
driver = webdriver.Chrome(executable_path =..., options = options)
# 静待5秒钟,让网页加载完毕
driver.implicitly_wait(5)
driver.get("https://www.jst-purple.com.cn/purple/index.php#searchProduct")
for page in range(1,247):
    # 点击下一页按钮
    next_page = WebDriverWait(driver, 15).until(EC.presence_of_element_located((By.LINK_TEXT, '下一页')))
    next_page.click()
    element = driver.find_element_by_id('div_content_sub')
    for i in element.text.split('\n'):
    	......
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值