selenium直接用鼠标点击(基于x,y坐标)进行网页爬取

本文介绍了如何利用selenium通过鼠标点击坐标的方式,爬取动态加载且请求加密的食品生产许可获证企业信息。由于selenium在操作页面数据后无法请求下一页,因此需逐页手动跳转,无法实现连续翻页功能。
摘要由CSDN通过智能技术生成

 食品生产许可获证企业(SC)的爬取

只有名字和编号

这个网站是动态加载,并对请求ur进行了加密l

所以使用selenium

但是,selenium使用不知道为什么一旦进行了对页面数据的操作后,就无法请求到下一页的数据了,所以只能一页一页的请求不停的从第一页跳转,不能使用下一页跳转

from selenium import webdriver
import pyautogui as pag
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ActionChains
import time
import pyautogui
#创建浏览器对象


def find_coordinate():
    """返回下一页坐标,最大页数"""
    #"""返回文本框坐标,go按钮位置,和最大页数 """
    d = webdriver.Chrome()#可以看到浏览器界面

    d.implicitly_wait(10)#隐性等待10秒如果10秒内该窗口完成渲染渲染完毕就不再等待,10秒还未渲染成功就不再等待

    d.maximize_window()#窗口最大化
    time.sleep(2)
    d.get('http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=120&tableName=TABLE120&title=%CA%B3%C6%B7%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5(SC)&bcId=145275419693611287728573704379')
    time.sleep(3)
    text_location = d.find_element_by_xpath('//*[@id
  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值