python点击下一页数据还是原来的_Python Selenium单击下一页

在尝试使用Python Selenium脚本从Freshfields网站抓取超过100页的数据时,作者遇到了问题。虽然成功获取了第1页的数据,但无法使脚本点击“Next”按钮进入下一页。脚本中定位“Next”按钮的部分似乎无效。作者寻求帮助以理解如何正确遍历所有页面并收集所有记录。
摘要由CSDN通过智能技术生成

我目前正在编写一个python selenium脚本来从网站上获取信息。我已经成功地以我想要的格式从第1页(共100+页)获取数据。不幸的是,我无法运行该程序并从后续页面收集所有信息。当我查看web站点target=https://www.freshfields.com/en-gb/contacts/find-a-lawyer/脚本时,它显示“Next”按钮的编译如下所示

/body/div[@id='main-content']/div[@t6a-grid']/div[@mmargin-bottom-30']/div[@id='grid']/div[@row-margin-bottom-10']/div[@col-md-12 padding-left-0 padding-right-20']/ul[@class='pagination']/li[11]/a

我写的部分脚本如下。脚本中的“#this is navigate to next page element”是当前不工作的区域。在

def get_links(驱动程序、目标):

#这是为了收集与Freshfields网站上的所有个人资料相关联的链接driver.get(target)

# get links associated to profiles on result page

list_links = []

while True:

list_ppl_link = driver.find_elements_by_xpath('//div[@class=" mix item col-xs-6 col-sm-4"]')

for item in list_ppl_link:

emp_name_obj = item.find_element_by_tag_name('a')

emp_name = emp_name_obj.text

emp_link = emp_name_obj.get_attribute('href')

list_links.append({'emp_name':emp_name, 'emp_link':emp_link})

try:

# this is navigate to next page

driver.find_element_by_xpath('//ul[@class="pagination"]/li').click()

time.sleep(1)

except NoSuchElementException:

break

return list_links

请问有人能帮我理解一下如何翻遍书页收集1960年的记录吗?在

非常感谢

克里斯

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值