我目前正在编写一个python selenium脚本来从网站上获取信息。我已经成功地以我想要的格式从第1页(共100+页)获取数据。不幸的是,我无法运行该程序并从后续页面收集所有信息。当我查看web站点target=https://www.freshfields.com/en-gb/contacts/find-a-lawyer/脚本时,它显示“Next”按钮的编译如下所示
/body/div[@id='main-content']/div[@t6a-grid']/div[@mmargin-bottom-30']/div[@id='grid']/div[@row-margin-bottom-10']/div[@col-md-12 padding-left-0 padding-right-20']/ul[@class='pagination']/li[11]/a
我写的部分脚本如下。脚本中的“#this is navigate to next page element”是当前不工作的区域。在
def get_links(驱动程序、目标):
#这是为了收集与Freshfields网站上的所有个人资料相关联的链接driver.get(target)
# get links associated to profiles on result page
list_links = []
while True:
list_ppl_link = driver.find_elements_by_xpath('//div[@class=" mix item col-xs-6 col-sm-4"]')
for item in list_ppl_link:
emp_name_obj = item.find_element_by_tag_name('a')
emp_name = emp_name_obj.text
emp_link = emp_name_obj.get_attribute('href')
list_links.append({'emp_name':emp_name, 'emp_link':emp_link})
try:
# this is navigate to next page
driver.find_element_by_xpath('//ul[@class="pagination"]/li').click()
time.sleep(1)
except NoSuchElementException:
break
return list_links
请问有人能帮我理解一下如何翻遍书页收集1960年的记录吗?在
非常感谢
克里斯