selenium爬虫 苏宁易购元素更新问题

第一次写博客,记录小白成长事迹,多多见谅啦
工具pycharm 和python
selenium是一个web的自动化测试工具,和其它的自动化工具相比来说其最主要的特色是跨平台、跨浏览器。
支持windows、linux、MAC,支持ie、firefox、safari、opera、chrome等。
导入部分模块为 from selenium import webdriver 爬虫工具所需导入的包。

代码块

import  time
#import seven.until #连接数据库函数
from selenium import webdriver #爬虫所需导入的包
    
options=webdriver.FirefoxProfile()
options.set_preference('permissions.default.image',2)#禁止加载图片
firefox=webdriver.Firefox(options)
firefox.get("https://search.suning.com/洗面奶/.html")#苏宁洗面奶页面网址
target = firefox.find_element_by_css_selector("#bottom_pager")#获取页面最底部标签
firefox.execute_script("arguments[0].scrollIntoView();", target)  # 爬虫将页面下拉至底部休息5秒等待数据加载
time.sleep(5)#等待5秒加载网页元素,即爬取元素的速度小于网页元素更新完的速度即可正常获取元素标签
li=firefox.find_elements_by_css_selector(".general li")
for one in li:
    try:
      
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值